Patch Tensor-Based Sparse and Low-Rank Graph for Hyperspectral Images Dimensionality Reduction 笔记

摘要

传统方法的缺点:因为使用KNN或者 \epsilon球邻域构建图结构,以及欧氏距离计算数据点之间的相似性,对噪声敏感。并且SLGDA这些构造图结构的方法是向量模型,不能获得HSI的内在几何结构。
提出了一个patch tensor-based sparse and low-rank graph(PT-SLG)(我估计是基于TSLGDA做的,TSLGDA是基于SLGDA做的)。
这里提到一个聚类策略探索非局部相似度信息,能够增强低秩稀疏约束,并且能够减少计算损失,这个方法考虑了所有张量样本空间域的联合相似性,能够增强信息性。

引言

前面都讲的差不多。
关注下PT-SLG的东西。
区别:

  • TSLGDA是有监督的,PT-SLG是无监督;
  • TSLGDA投影是基于TLPP框架(我感觉说的是张量模乘投影);
  • PT-SLG的计算效率大大优于TSLGDA;

PT-SLG的优点:

  • 张量模型的优点:自然的保留空间结构,增强空间信息;
  • 稀疏低秩的优点:低秩探索全局结构使得结构鲁棒,稀疏探索局部结构;
  • 聚类方法的优点(感觉这部分是重点也是区别于TSLGDA的东西):把张量样本分为若干簇,对每一个簇建立子图,最后把子图拼接成最后的图。

聚类方法的好处(还不能理解):

  • 能够把被同一土地覆盖的样本尽可能的分到同一个簇,所以同一个簇里的样本在空间区域上有更高的相似性,在光谱区域上有更多冗余(把这个东西施加在子图上,能够消除冗余和提取更多的结构信息);
  • 通过聚类算法能够使得每一个样本被同一类中的其它样本表示,这能够稀疏表示的解空间,并且能够减少计算花费。

克罗内克积(之前的张量方面的文章都没有用到这个)

克罗内克积是两个任意大小的矩阵间的运算,是张量积的特殊形式。
\begin{equation} Y = A\bigotimes B = \left[ \begin{array}{cccc} a_{11}B & a_{12}B & ... & a_{1J}B\\ a_{21}B & a_{22}B & ... & a_{2J}B\\ ... & ... & ... & ... \\ a_{I1}B & a_{I2}B & ... & a_{IJ}B \end{array} \right] \end{equation}
其中A\in R^{I\times J},B\in R^{K\times L},则Y\in R^{IK \times JL}
(感觉像是,把两个矩阵里面所有元素的互相乘了一遍)

相关工作

  • Graph Embedding
    graph embedding是向量模型中的求投影矩阵的基本框架。
    把高光谱看成X = [x_1,x_2,..., x_M]共计M个像素点,x_i\in R^{D\times 1},为了找到投影矩阵P\times R^{D\times Q}(Q<<D)
    构建内在图G = \{X,W\},惩罚图G_{p} = \{X,W_{p}\}
    优化目标是:

    image1.png

    其中,L = D - W,L_{p} = D_{p} - W_{p}
    优化目标等价于:
    image2.png

    再变成广义特征值问题:
    image3.png

  • Sparse Graph
    思想是,每一个样本能被其它样本表示的线性组合表示出来。
    优化目标是:


    image4.png

    0范数是np难问题,松弛为1范数求解(具体为啥还没看懂)


    image5.png
  • LRR and Low-Rank

    imag6e.png

    这里的Z是等价于稀疏表示中的W
    由于这里求rank也是比较困难,用核范数来代替
    image6.png

    E是噪声项。

  • Sand Low-Rank Decomposition of Tensor Dataset
    自然而然的把稀疏和低秩表示融合在一起就是稀疏低秩了。
    我们先看SLGDA,是针对于向量模型的稀疏低秩判别分析。
    优化目标是:

    image7.png

    把这里的输入变成张量就变成了TSLGDA,
    优化目标是:
    image8.png

    这是TSLGDA里面的描述。
    我不喜欢这篇文章里的描述,他没有说清楚3阶张量是如何变成4阶的(暂时我有两个想法不知道对不对)
    TSLGDA里面遵循的是SLGDA的框架,先算W,接着使用TLPP的算投影矩阵的框架来算出3个投影矩阵U_1,U_2,U_3(TLPP算法也是需要先求W),接着使用张量模乘来做投影。

本文里的方法

优化目标:

image9.png

约束条件里面是张量的模乘,张量模乘的结果在一个轴展开可以和矩阵乘法是等价的,因此可以变为:
image10.png

这里写的稀疏低秩分解就和TSLGDA里面不太一样,
感觉上是不用求,直接求4个投影矩阵。
引入辅助标量:
image11

接着写成增广拉格朗日形式:
image12.png

接着就是常规的求导求解过程:
image13.png

算法表格为:
image14.png

接下来就是我感觉最吸引我,最创新的地方

  • 针对第三个光谱轴上的投影问题,文章把这里张量的降维重新变成graph embedding框架里。
    image15.png

    image16.png

    image17.png

    通过三个步骤求出第三个轴光谱轴的投影矩阵。我不明白的是这里S的求解为什么不用U_3U_1,U_2保留了空间信息,U_4保留的是样本信息,把这三个组合在一起,为什么要舍掉U_3
  • 聚类
    因为对所有样本中稀疏表示使得,一个样本能表示成其它很多样本的线性组合,计算起来非常麻烦。
    使用k-means,使得每一簇里的样本就被它所在的簇里的样本线性表示,能减少计算花费。
    这也是我认为的闪光点。
    还是通过张量的模乘降维:


    image18.png

本文的算法表格为:


image19.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,951评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,606评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,601评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,478评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,565评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,587评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,590评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,337评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,785评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,096评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,273评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,935评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,578评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,199评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,440评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,163评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,133评论 2 352

推荐阅读更多精彩内容