LINE用first-order和second-order来保持Graph的结构
- first-order：描述局部点对的邻近度(互相连接的网页page的话题是相似的)如顶点6、7
- second-order：共享相同邻居的节点也会有相似的性质（在社交网络中分享相似朋友的人也会有相似的兴趣从而可能成为朋友），如顶点5、6
以下分别为first-order和second-order的优化目标函数，作者自己定义了一个近似分布(左边是sigmoid函数 右边是softmax函数)，然后用KL-Divergence衡量两个分布的距离，并最小化两者距离
Optimization tricks
- 优化p2比较耗时，作者采用Negative Sampling来训练(在做softmax的时候，分母的计算要遍历所有节点，这部分其实很费时，所以在分母较大的时候，经常会使用负采样技术)根据噪声分布采样一些负例的边，此目标函数的第一项是正例， 第二项是采样得到的负例， 第一项中的
和
越相似越好, 第二项中的
与
的一个替代目标函数，K是采集的negative edges边数。
Negative Sampling - 因为
和
，所以用backpropagation的时候，如果
