metapath2vec: Scalable Representation Learning for Heterogeneous Networks

背景介绍

• 什么是异构网络？
• 在图中，有不同的节点类型或不同连接关系，即点的类别个数 + 边的类别个数 > 2
• 举例：学术异构网络中 ，如图所示，图中有四类节点：组织（O）、作者（A）、论文（P）、会议（V）；其中就包括了各类节点关系，如共同作者关系（AA）、作者发表关系（AP）、合作关系（OA）等

• 文章核心思想？
• 异构网络节点表示 —— 把每个节点转化为低维的向量表示
• 两种模型：metapath2vec; metapath2vec++
• input：图G=(V,E)为异构图
• output：每个节点的向量表示(Embedding)
• 目的：输出的向量表示可以用于图下游任务，如节点分类、聚类、节点相似性度量等
• 模型优点：在下游任务中表现良好(state of the art); 可以考虑到不同节点类型的结构和语义关系
• 预备知识？
• 图网络表示(Graph Embedding)
• 随机游走
• Deep Walk, Skip-gram

metapath2vec框架

metapath2vec和DeepWalk很相似，迁移到异构图中主要有以下三点改进：

• 在随机采样时，按照预先定义好的采样节点类型序列进行采样；
• 邻居定义为与当前节点类型相同且相邻的点
• 在matapath2vec++模型中，负采样时只采样当前类别的节点

异构Skip-gram模型

在Skip异构-gram模型中，对于图G(V,E,T),最大化概率：

其中 

其中  代表不同节点类型，把邻居  定义为与当前节点相同类型的邻居；与word2vec相似，可以利用负采样方法进行求解。

元路径随机游走

• 如果忽略节点类型进行随机游走，结果会是有偏的，数目较多的节点类型出现的概率更大。
• 元路径随机游走：定义好一个游走类型路径，在上图中，路径可以定为APA,APVPA等，然后按照这个路径游走，即下一个节点只采样符合要求的节点类型；元路径通常为对称的。
• 优点：这种元路径随机游走策略可以确保不同类型的节点语义关系被恰当的并入skip-gram模型中

metapath2vec++

• 在负采样时只采样当前类别的节点
• 输出维度是当前该类型节点的个数

参考文献

Dong Y , Chawla N V , Swami A . metapath2vec: Scalable Representation Learning for Heterogeneous Networks[C]// Acm Sigkdd International Conference on Knowledge Discovery & Data Mining. ACM, 2017.