Wang R, Li L, Tao X, et al. Contrastive and attentive graph learning for multi-view clustering[J]. Information Processing & Management, 2022, 59(4): 102967.
摘要导读
基于图的多视图聚类旨在利用多视图图信息来提供聚类解决方案。多视图的一致性约束是多视图图聚类的关键。现有的研究大多是生成融合图，并通过聚类损失来约束多视图的一致性。本文认为局部视图对的一致性可以实现多个视图中的共识信息的fine-modeling（精细建模）。为此，本文提出了一种新的对比和注意图学习框架的多视图聚类方法。具体来说，本文设计了一个多视图图学习的 contrastive fine-modeling，利用最大化成对视图的相似性，以保证多视图的一致性。同时，采用基于注意力网络的附加加权细化融合图模块，动态捕捉不同视图的容量差异，进一步促进了单个视图和融合视图的相互强化。此外，提出的CAGL可以通过一个自训练的聚类模块来学习一个专门的聚类表示。最后，开发了一个联合优化目标来平衡每个模块，并在图编解码器的框架下迭代优化所提出的CAGL。
With the development of information collection and processing technology, multi-view data with multiple types of features are pervasive in various application domains. For example, a text document can be analyzed by word, sentence, and paragraph or different languages. (Cross language text classification via subspace co-regularized multi-view learning)
Intro结构记录
- 多视图数据介绍
- 图表示的引入
The graph is widely used in representation learning as an important data structure to represent the relationship between various types of objects.
- 基于图的多视图聚类方法的介绍
Given the natural advantages of graph structure, graph-based multi-view clustering (GMC) has made impressive progress.
- 现有方法存在的缺点总结（因此本文提出了什么方法）
-
本文提出的解决方案的模块化介绍
整体流程图可以由如下表示：
flow chart - 总结
- 文章的章节安排
方法浅析
数据定义：给定包含个视图多视图图数据集，
，
。即，视图
包含
个样本点，且对于视图
而言，其维度为
。
除一个多视图图自编码器之外，整体的模型主要包含三个主要模块，分别为基于注意权重的融合模块，对比多视图图学习模块，以及一个自训练的聚类模块。
- Multi-view graph encoder
GCN每一层的计算可以写成：其中，为激活函数，
是正则化之后的对称邻接矩阵。
为权重矩阵。
表示GCN的层数。当
时，
。
对于每个视图的输入，都对应着一个自己视图的GCN图编码器。 -
Att-weighted graph fusion module
对样本特征进行加权平均融合特征和对视图特征拼接往往导致性能次优。因此，作者引入了注意力机制学习每个视图的权重参数。基于该思想，模型可以对来自不同视图的信息进行利用，其计算方式如下：
通过att加权融合模块获得的融合特征增强了多视图的全局识别程度。
-
Contrastive multi-view graph learning module
在此基础上，本模块的目标是实现在多个视图中的共识信息的fine-modeling。本模块对传统的基于样本的视图对齐的对比学习方法：
笔者认为关于
作者在实验中缺失避免了对两个视图数据集的使用）对于一个batch中的所有样本，其损失计算方式如下：
-
Self-training clustering module
-
Multi-view graph decoder
在该模块，仅构造了一个decoder去恢复个视图对应的图的输入。本文采用的是分别对每个视图的
进行重构，其损失函数写成：
关于视图。
-
Joint loss
由于提出的方法是基于图编解码器的框架，因此可以通过一个联合优化目标轻松地实现端到端学习。整体框架的优化包含三个部分的学习目标：
其中，𝜆1、𝜆2、𝜆3是调整各子损失函数之间的权重。
总体而言，其创新点主要是框架的集成和模块化目标的设计。作为我的梦中情刊，竟然被我发现了好多错误。。。但是不得不说，关于论文的组织结构和语言的组织，都很厉害。
大量的实验证明了该框架的有效性。特别是关于参数敏感性学习的部分，对的维度，学习率
，收敛性分析，以及loss的参数(
,
,
)（
这里又出现了错误，明明说这3个参数都在[0,1]，结果画出的图的坐标竟然。。。截图为证）进行了展示。
