GCN 翻译 - 3-编程知识

GCN 翻译 - 3

3 SEMI-SUPERVISED NODE CLASSIFICATION

这里简单引入一个例子，利用图上信息传播的方式的一个灵活的模型 $f(X,A)$ ，我们来解决一个图上节点分类的半监督问题。正如在introduction里面提到的，我们应用数据X和图结构的邻接矩阵锁提出的模型f(X,A)在图结构上进行半监督的学习。我们希望能够利用这套模型能够预测临界矩阵中的不在X中的非label数据，例如引用网络中两个文本的链接或者是知识图谱中的关系。总体看，一个多层的GCN 半监督学习模型如图1所示

3.1 EXAMPLE

在接下来的讨论中，我们主要考虑一个2层的GCN网络用来做半监督的节点分类的学习。临界矩阵A（0-1或加权），我们可以在预处理里面先把 $\widehat{A} = \widetilde{D}^{-1/2} \widetilde{A}\widetilde{D}^{-1/2}$ 计算出来，我们的前向网络如下：

$Z = f(X,A) = softmax(\widehat{A}ReLU(\widehat{A}XW^{(0)})W^{(1)}) \quad (9)$

这里， $W^{(0)} \in R^{C*H}$ 是输入到隐藏层的权重矩阵，隐藏层有H维特征。 $W^{(1)} \in R^{H*F}$ 是隐藏到输出层的权重矩阵。这里的Softmax的激活函数定义为 $softmax(x_i) = \frac{1}{z} exp(x_i) , z = \sum_{i}exp(x_i)$ , 对于多分类的半监督任务，我们在所有的label数据上评价交叉熵的误差：

$L = -\sum_{l\epsilon y_L}\sum_{f=1}^{F}Y_{lf}lnZ_{lf} \quad (10)$

$y_L$ 是有label节点的集合。

神经网络的权重 $W^{(0)}$ 和 $W^{(1)}$ 可以使用梯度下降来训练。在这个工作中，我们使用使用全量数据集的数据在在每一个迭代轮次用批梯度下降法。对于稀疏的邻接矩阵A，需要使用的内存为 $O(|\varepsilon |)$ ,同比于图里面边的数量。训练过程中使用dropout。未来在内存充裕的情况下，我们将尝试mini-batch的随机梯度下降法。