R-GCN: Modeling Relational Data with Graph Convolutional networks

1. 简介

RGCN是专门为处理具有高度多关系数据特征的现实数据库而开发的(The highly multi-relational data characteristic of realistic
knowledge bases )，是针对局部邻居信息进行聚合的GCN在大规模关系数据上的扩展，关系图卷积网络RGCN在链接预测和节点分类两个任务上都取得了效果。

2. 方法

借鉴于GCN的方法：

其中$\mathcal{M}_i$表示节点$v_i$的传入消息集合，通常为入度的边缘集。$g_m(\cdot, \cdot)$可以是类似神经网络的函数，也可以是简单的线性转换。
这种方式可以有效地聚合编码局部邻域结构的特征，并且在图分类和基于图的半监督学习等任务中表现出了很好的效果。

受上述架构的启发，作者定义了如下的RGCN消息传播模型：

RGCN是一个message-passing的框架，从公式看出，在一次汇聚时不仅考虑邻居还加入self-loop，RGCN将每一种边当成一个参数矩阵$W_r$进行学习，因此存在一个效率上的问题便是随着边类型增多，参数量会越来越大。

由于$W_r$带来参数化巨大的问题，RGCN提出了一种降低参数量的方法，两种对RGCN层进行规则化Regularization方法:
1、对$W_r$进行基数分解

$$W_r^{(l)}=\sum_{b=1}^Ba_{rb}^{(l)}V_{b}^{(l)}$$

2、对$W_r$进行块对角分解

$$W_r^{(l)}=\oplus_{b=1}^BQ_{rb}^{(l)}$$

3.作用

• Node Classification
  在用作节点分类的优化函数：

$$\mathcal{L}=-\sum_{i\in\mathcal{Y}}\sum_{k=1}^Kt_{ik}lnh_{ik}^{(L)}$$

分类示意图如下：

• Link Prediction
  RGCN在解决Link Prediction任务时采用的是一种encoder-decoder架构，decoder阶段就是一个Scoring function，在RGCN论文中选用的是DistMult。优化函数如下：

$$f(s,r,o)=e_s^TR_re_o \\ \mathcal{L}=-\frac{1}{(1+\omega)\left|\hat\mathcal{\epsilon}\right|}\sum_{(s,r,o,y)\in\mathcal{T}}ylogl(f(s,r,o))+(1-y)log(1-l(f(s,r,o)))$$

预测结构示意图如下：

4. 代码

RGCN是较早提出利用GCN来解决图结构中不同边关系对节点的影响，在进行信息汇聚更新时，充分考虑节点之间的Edge(关系)对于节点表征的影响。

Node classification code: https://github.com/tkipf/relational-gcn

Link prediction code: https://github.com/MichSchli/RelationPrediction