一.概述

论文及源码获取地址

图嵌入的获取一直都是一个研究热点，其可用于许多图相关的任务，包括链接预测、节点分类和可视化等等。在本篇论文中作者提出了一种名为VERSE的图嵌入（Embedding）生成方法，其从节点相似性的角度来考虑节点嵌入，提出了相关的优化目标。

VERSE的全称是VERtex Similarity Embeddings，该方法的特点是简单、通用和内存高效。

VERSE使用一个单层神经网络来学习嵌入，通过该方法能够有效的保留节点相似性。

VERSE在链接预测、节点分类、节点聚簇、图重建任务上都进行了相关实验并取得了较为理想的性能。

二.详细方法

2.1 优化目标

对于给定图$G=(V,E)$，其中$V=(v_1,...,v_n)$表示点集、$E\subseteq (V\times V)$为对应的边集，学习的目的是希望学得图节点的$d$维表示向量，其中$d<<n$。所有图节点的表示向量组成一个$n\times d$维的矩阵$W$，其用$W_v$来表示节点$v$的嵌入。

$si{m}_G:V\times V\to \mathbb{R}$表示图的某种相似性，由于需要计算顶点与图中其它所有顶点的相似性，因此其需要满足分布:
$$\sum _{u\in V}si{m}_G(v,u)=1$$
其中$v$为图中任意节点。

$si{m}_E:V\times V\to \mathbb{R}$表示嵌入空间中节点间的相似性。

基于$si{m}_G$和$si{m}_E$，作者提出的优化目标是尽量减小两个分布间的KL散度，即：
$$\sum _{v\in V}\mathrm{K}\mathrm{L}\left({\mathrm{sim}}_{\mathrm{G}}(v,\cdot )\Vert {\mathrm{sim}}_{\mathrm{E}}(v,\cdot )\right)\text{\hspace{1em}(1)}$$
作者通过图1中的例子来说明提出的优化目标的有效性，可以看出VERSE重建的矩阵更好的保留了相似性，可见其优化目标是有效的。

2.2 嵌入模型

假设来自某个分布$\mathcal{P}$的节点$u$和来自分布$si{m}_G(u,\cdot )$的节点$v$，从$Q(u)$采集$s<<n$个节点$\tilde{v}$，NEC对应的损失利用logistic回归来最小化负对数似然：
$${\mathcal{L}}_{NCE}=\sum _{u\sim \mathcal{P},v\sim \mathrm{sim}(G,\cdot )}[\log {\mathrm{Pr}}_W\left(D=1\mid {\mathrm{sim}}_{\mathrm{E}}(u,v)\right)+s{\mathbb{E}}_{\tilde{v}\sim Q(u)}\log {\mathrm{Pr}}_W\left(D=0\mid {\mathrm{sim}}_{\mathrm{E}}(u,v)\right)]$$
其中$P{r}_W$是根据$W$计算得来的，具体为$W_u$和$W_v$经过点积后再代入sigmoid函数$\sigma (x)=(1+e^{-x}{)}^{-1}$，另外计算$si{m}_E(u,\cdot )$时不需要进行归一化。随着噪声样本数量的增加，NCE计算的梯度可以证明收敛到交叉熵的梯度。借助NCE的渐近收敛保证，我们实际上是最小化了来自$si{m}_G$的KL发散。NCE的理论保证取决于$s$，但对于很小的值在实践中也能取得很好的结果。

2.3 学习算法

VERSE使用的学习算法的伪代码如下：

算法输入：图$G$、相似性函数$si{m}_G$、嵌入的维度$d$。算法会先初始化权重矩阵$W\sim \mathcal{N}(0,\frac{1}{d})$。然后利用前面提到的NCE算法重复的采样正样本和负样本进行梯度下降以优化目标。

VERSE可以使用任何的相似性函数，作者选择了如下三种：

• Personalized PageRank
• Adjacency similarity
• SimRank

三.结语

这篇论文利用相似性函数的信息来监督一个单层的神经网络学得相应的Embedding，其特点是能够快速的生成质量较高的通用的图嵌入，这确实是其一大优势。

个人观点：虽然需要考虑大图上的扩展性，但感觉一个单层的神经网络的表达能力还是挺有限的。
以上便是本文的全部内容，要是觉得不错的话，可以点个赞或关注一下博主，你们的支持是博主进步的不竭动力，当然要是有问题的话也敬请批评指正！！！