菜鸟笔记之《FASTGCN: FAST LEARNING WITH GRAPH CONVOLUTIONAL NETWORKS VIA IMPORTANCE SAMPLING》

       今天分享的这篇文章,出自ibm,之前对ibm的印象是做硬件的,没想到在人工智能的浪潮中,他依旧是一个强劲的弄潮儿。这篇论文提出的FastGCN,是建立在原始GCN基础之上的一种基于概率测度下embedding函数的积分变换视角,通过重要性采样实现的高效算法。

       本文将从模型原理和实验两方面对这篇论文进行介绍。一般认为,基于图的卷积神经网络模型来自于两个方面,一方面是谱图理论,一方面是表征学习,如node2vec和LINE算法,通过为每个节点学习一个全图特征表示,对图空间进行降维得到低维特征表示。与最近的GraphSAGE相比,GraphSAGE存在对邻居规模的限制,而FastGCN是对节点进行采样,而非邻居。

1. 模型理解

直观上看,计算公式和之前GCN相比,一个是全连接公式,一个是积分公式,但是FastGCN的积分公式,考虑到space(V',F,P),V'是采样的独立同分布的样本节点集合,F是事件空间?(并不理解是干什么用)P是采样分布,概率评估矩阵。

积分变换.PNG

左图每一层代表一批抽样节点,相邻层之间的连线代表在图中两点具有相连关系,not全连接;右图是在满足P分布的基础上进行抽样,后一层的embedding函数是前一层函数的积分变换。文中是一堆堆公式,看着很复杂,其实感觉就是用一个概率矩阵对节点进行抽样,即题目所说的重要性采样,但是对于P是怎么来的没有讲解。然后再转化为积分进行层间传播,虽然还是没弄明白积分变换有啥好处。感觉相比传统GCN,fastgcn之所以快是因为它在每层之间的传播过程做了抽样,而不是用全图去表示。

2.实验

这篇文章原理看的云里雾里,想通过实验部分进行理解,所以实验部分看的比较详细。实验设置,同样的数据集,分别与传统GCN算法、GraphSage算法进行比较。与GCN实验不同的是,这篇论文将数据即的所有样本都是用了,原始GCN论文的实验仅仅是选择了划分结果最好的小部分数据(我也是看了之后才知道原来实验可以这么做,哈哈哈),作者将全部数据加进来,我认为是更加合理的。同样的,本文的网络结构也不深,只有两层。选用的三个数据集也是常用的学术领域数据集,除了Reddit之外,都只是连通小网络。


数据集.PNG

论文在指标选择上使用的是F1值,对于多分类问题,包括之前看的GCN原始论文,用的都是准确率(accuracy),不知为何这样选择。


实验表现

从实验结果对比来看,FastGCN也都不是最好的,在它所说的适用于大图稠密图上的embedding,比较看来,也仅比原始GCN好了0.007.
时间性能

时间性能上,相比其他两个模型,fastGCN在小图上表现良好,但是大图上具有一个数量级的优势。论文开始也提到了在转导推理方面的适用性,但是并未突出该应用,所以转导方面也不具有借鉴意义。由于笔者对原理部分理解还不够深入,对于fastgcn并没有眼前一亮的感觉。后续可能会通过看证明和代码,再梳理完善一下。暂时就说这么多~
==未完待续~

作者原创,欢迎交流,如需转载请先联系作者。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容