2020 Pattern Recognition
motivation
近年来，图神经网络(GNNs)在学习代表性图特征方面表现出了良好的效果。但是，目前基于pool的图分类策略缺乏对图表示信息的有效利用，其中每个节点和层对图级表示的输出贡献是相同的。在本文中，我们通过引入结构化的多头自注意，开发了一种提取有效图表示的新架构，其中注意机制包括节点聚焦、层聚焦和图聚焦三种不同形式。为了充分利用图的信息，节点聚焦自注意首先以缩放点积的方式聚合邻居节点的特征，然后以层聚焦自注意和图聚焦自注意作为读出模块，测量不同节点和层对模型输出的重要性。将这两种自注意机制与基本节点级gnn相结合，可以提高图分类任务的性能。
由于我们是要利用图神经网络做推荐任务，所以我们只关注论文中关于图神经模型。
1 Node-focused self-attention for node-level output
应用多头token2token自注意算法得到最终的表示函数。采用自注意机制来建模中心节点和邻居节点
之间的依赖关系
初始化节点表征为
�
2 Graph-focused self-attention for graph-level output
基于池的机制可能会导致不同图的表示形式相同，图中所有节点的表示向量的总和缺少对图中重要部分的关注。
3 Structured self-attention architecture
但是，随着节点层数量的增加，节点表示可能会显得过于平滑，从而导致图级输出的泛化性能较差。为了更有效地利用信息，我们的架构进一步引入了一种以层为中心的自我关注，以聚合分层的图表示
