[PED05]Incomplete Multi-view Clustering via Subspace Learning

Incomplete Multi-view Clustering via Subspace Learning

Publication：CIKM 2015
Author：Qiyue Yin, Shu Wu, Liang Wang（ Chinese Academy of Sciences, Beijing）

缺失多视图论文汇总：https://github.com/Jeaninezpp/Incomplete-multi-view-clustering

一句话概括

利用投影矩阵将经过选择后的数据投影到潜在空间，并保存了视图内和视图间的相似性。

摘要：

learn unified latent representations and projection matrices for the incomplete multi-view data
要求latent representation非负，并且是列正交。
要求projection matrices稀疏

关键词： Multi-view clustering; Incomplete multi-view data; Feature selection; Subspace learning; Graph regularization

Introduction & Relative work：

文章将多视图聚类（multi-view clustering）分为四类：

subspace based methods
co-training based methods
late fusion
similarity fusion
这些方法中每个视图的数据都是完整的，但是在现实应用中，总会出现一些视图缺失部分信息的情况。对于缺失的多视图聚类算法可以分为两类：
filling missing information
- complete the kernel matrices of the incomplete views（仅适用于kernel-based的多视图聚类算法）
基于NMF的方法(PVC)，用NMF学到一个letent representations.但是不能处理特征表示为负数的数据。
列举的论文：
[23] Multiview clustering with incomplete views. NIPS 2010
- 适用于至少有一个视图是完整的情况，用完整视图的相似度矩阵去填充缺失视图的核矩阵。
[24] Clustering on multiple incomplete datasets via collective kernel learning. ICDM 2013
- 扩展了[23]，适用于所有视图都有缺失的情况。通过优化对齐，对所有核矩阵进行共同填充。[23][24]都是基于核矩阵的填充，只适用于多核聚类的缺失情况。
[34] Partial multi-view clustering. AAAI 2014
- 指出上述两种方法不好，提出了PVC，用非负矩阵分解得到subspace。但是不适用于特征有负数的情况。
  因此本文提出了一种联合 特征选择 和 子空间学习 的方法。如下图所示：
  
  在这里插入图片描述

首先，利用回归型目标函数学到a subspace
不同视图的潜在表示（latent representation）应该是相同的
在latent space的学习前，执行特征选择，因为视图的特征可能是高维、有噪声的。
最后用graph regularization来进一步探索视图间和视图内的数据点的关系。

贡献：

将feature selection , subspace learning, similarity preserving整合在一个统一的目标函数中。
交替优化算法，收敛
实验结果好

Method：

在这里插入图片描述

定义：将数据分为三部分：在所有视图中都完整的样本，只在视图1中完整的样本和只在视图2中完整的样本。

通过投影矩阵得到聚类指示矩阵。

在这里插入图片描述

F为学到的潜在表示，也就是所谓的聚类指示矩阵。

在这里插入图片描述
保存视图内部相似性以及视图之间的相似性
- intra-view
  
  为K近邻则保存其相似度。
  
  在这里插入图片描述
- inter-view
  
  在这里插入图片描述
  
  所以整个的相似度矩阵为：
  
  在这里插入图片描述
  
  那么对投影矩阵的正则化：
  （若i和j相差大，就给他一个比较小的权重（相似度），反之大权重）
  
  在这里插入图片描述
  
  就可以写为（6）式：
  其中 $L_{st}$ 是W的拉普拉斯矩阵
  
  在这里插入图片描述
  
  这样就得到了整体的优化目标：
  
  在这里插入图片描述
  
  目标函数有三项：
  1.使用投影矩阵将不完整视图投影到潜在空间F中
  
  在这里插入图片描述
  
  2.特征选择
  
  在这里插入图片描述
  
  3.视图间和视图内相似度保存
  
  在这里插入图片描述

最后对得到的F进行K-means得到最终的聚类结果。

思考

只适用于2个视图的情况