一、图神经网络模型的构成

1. 图数据表示

• $V$$V$VV$V$ 是节点集合。
• $E$$E$EE$E$ 是边集合。
• 节点和边都可以拥有特征（或称属性）。
  • 节点特征矩阵 $X$$X$XX$X$: $X\in {\mathbb{R}}^{|V|\times F}$$X\in {\mathbb{R}}^{|V|\times F}$X inR^(|V|xx F)X \in \mathbb{R}^{|V| \times F}$X\in {\mathbb{R}}^{|V|\times F}$，其中 $F$$F$FF$F$ 是节点特征的维度。
  • 邻接矩阵 $A$$A$AA$A$: $A\in {\mathbb{R}}^{|V|\times |V|}$$A\in {\mathbb{R}}^{|V|\times |V|}$A inR^(|V|xx|V|)A \in \mathbb{R}^{|V| \times |V|}$A\in {\mathbb{R}}^{|V|\times |V|}$，表示节点之间的连接关系。如果节点 $i$$i$ii$i$ 和节点 $j$$j$jj$j$ 之间有边，则 $A_{ij}=1$$A_{ij}=1$A_(ij)=1A_{ij} = 1$A_{ij}=1$，否则为0。

2. 核心构件：图卷积层/信息传递层

1. 信息聚合：每个节点从它的直接邻居（一阶邻居）那里收集信息。
   • 具体操作：将邻居节点的特征向量进行加权求和。
   • 在GCN中，这个加权是通过对邻接矩阵 $A$$A$AA$A$ 进行归一化（例如加上自环 $A+I$$A+I$A+IA + I$A+I$ 并用度矩阵 $D$$D$DD$D$ 进行归一化）来实现的，使得聚合过程既考虑了邻居信息，也考虑了节点自身的重要性（度）。
2. 信息更新：将聚合后的邻居信息与节点自身的信息结合，生成该节点的新表示（新的特征向量）。
   • 公式化表达（GCN层）：$$H^{(l+1)}=\sigma ({\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)})$$$$H^{(l+1)}=\sigma ({\widehat{D}}^{-\frac{1}{2}}\widehat{A}{\widehat{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)})$$H^((l+1))=sigma( hat(D)^(-(1)/(2)) hat(A) hat(D)^(-(1)/(2))H^((l))W^((l)))H^{(l+1)} = \sigma(\hat{D}^{-\frac{1}{2}}\hat{A}\hat{D}^{-\frac{1}{2}}H^{(l)}W^{(l)})$$H^{(l+1)}=\sigma ({\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)})$$
     • $H^{(l)}$$H^{(l)}$H^((l))H^{(l)}$H^{(l)}$：第 $l$$l$ll$l$ 层的节点特征矩阵（输入），$H^{(0)}=X$$H^{(0)}=X$H^((0))=XH^{(0)} = X$H^{(0)}=X$。
     • $\hat{A}=A+I$$\widehat{A}=A+I$hat(A)=A+I\hat{A} = A + I$\hat{A}=A+I$：加了自环的邻接矩阵。
     • $\hat{D}$$\widehat{D}$hat(D)\hat{D}$\hat{D}$：$\hat{A}$$\widehat{A}$hat(A)\hat{A}$\hat{A}$ 的度矩阵。
     • $W^{(l)}$$W^{(l)}$W^((l))W^{(l)}$W^{(l)}$：第 $l$$l$ll$l$ 层可训练的权重矩阵。
     • $\sigma$$\sigma$sigma\sigma$\sigma$：非线性激活函数，如ReLU。

3. 读出/池化层

• 全局平均/最大/求和池化：将所有节点的特征向量进行逐元素的平均、取最大或求和。
• 层次化池化：通过学习的方式逐步将图粗粒化，保留重要的结构信息，如DiffPool。
• 注意力和Set2Set：使用注意力机制或专门为集合设计的模型来生成图表示。

4. 输出层/预测头

• 节点级别任务（如节点分类）：每个节点对应一个输出，通常用一个全连接层+Softmax。
• 边级别任务（如链接预测）：将两个节点的表示拼接起来或做点积，然后输入到一个分类器中。
• 图级别任务（如图分类）：将读出层得到的图表示输入到一个多层感知机中进行分类。

二、图神经网络模型的训练

1. 训练目标与损失函数

• 节点分类：交叉熵损失。仅使用有标签的节点来计算损失。$$\mathcal{L}=-\sum _{i\in \text{Labeled Nodes}}{y}_i\log ({\hat{y}}_i)$$$$\mathcal{L}=-\sum _{i\in \text{Labeled Nodes}} y_i\log ({\widehat{y}}_i)$$L=-sum_(i in"Labeled Nodes")y_(i)log( hat(y)_(i))\mathcal{L} = -\sum_{i \in \text{Labeled Nodes}} y_i \log(\hat{y}_i)$$\mathcal{L}=-\sum _{i\in \text{Labeled Nodes}}{y}_i\log ({\hat{y}}_i)$$
• 图分类：交叉熵损失（多分类）或二元交叉熵损失（二分类）。
• 链接预测：通常作为二分类问题，使用二元交叉熵损失。负样本通过随机采样不存在边的节点对来生成。

2. 训练流程与优化

1. 前向传播：
   • 输入图数据（$A,X$$A,X$A,XA, X$A,X$）到GNN模型。
   • 信息在图上按照邻接关系传递和更新，逐层计算。
   • 得到节点或图的预测结果 $\hat{Y}$$\widehat{Y}$hat(Y)\hat{Y}$\hat{Y}$。
2. 损失计算：将预测结果 $\hat{Y}$$\widehat{Y}$hat(Y)\hat{Y}$\hat{Y}$ 与真实标签 $Y$$Y$YY$Y$ 进行比较，计算损失 $\mathcal{L}$$\mathcal{L}$L\mathcal{L}$\mathcal{L}$。
3. 反向传播：
   • 计算损失函数相对于所有可训练参数（如各层的权重矩阵 $W$$W$WW$W$）的梯度。
   • 关键点：由于图的连接性，反向传播需要遵循图的结构，计算图可以看作是一个计算依赖图。
4. 参数更新：使用优化器（如Adam）根据梯度更新模型参数，以最小化损失函数。

3. 训练中的关键技术与挑战

• 直推式学习 vs. 归纳式学习：
  • 直推式：在一个固定的图上训练和测试。训练时只能看到部分节点的标签，目标是预测剩余节点的标签。例如，在引用网络中对未知的论文进行分类。
  • 归纳式：在一组图上训练，然后在全新的、未见过的图上进行测试。例如，对分子图进行性质预测。这要求模型能够泛化到新结构。
• 过平滑：当GNN层数过深时，所有节点的表示会趋向于同一个值，导致模型性能下降。这是因为信息在图中传递了太多跳。解决方案包括：残差连接、跳跃连接、不同的归一化方法等。
• 内存限制：大规模图的邻接矩阵非常庞大，无法全部装入GPU内存。解决方案包括：图采样（如GraphSAGE）、子图聚类（如Cluster-GCN）等。

三、图神经网络模型的使用

1. 推理/预测

• 节点分类：输入一个节点及其邻域信息，输出该节点的类别概率。
• 图分类：输入一个完整的图，输出该图的类别或属性值。
• 链接预测：输入一对节点，输出它们之间存在连接的概率。
• 节点聚类/图分割：利用学习到的节点表示，使用聚类算法（如K-Means）发现图中的社区结构。

2. 可视化与可解释性

• 节点嵌入可视化：使用t-SNE或UMAP将高维节点表示降维到2D或3D进行可视化，观察节点是否按类别或社区自然聚集。
• 归因方法：分析是图中的哪些节点或边对最终预测贡献最大。例如GNNExplainer，它可以识别出一个子图，这个子图是模型做出某个特定预测的关键依据。

3. 部署与服务

• 效率：处理动态图、流图时，需要高效的增量计算。
• 可扩展性：将训练好的模型应用于包含数十亿节点和边的超大规模图，需要分布式计算和专门的图学习系统（如DGL, PyG + 分布式后端）。
• 在线学习：对于图结构或节点特征频繁变化的场景，模型可能需要持续学习以适应新的模式。

总结