基于表示学习的知识库问答研究进展与展望

文章从知识库的表示学习问句表示学习基于表示学习的知识库问答三方面以及他们面临的困难与挑战进行介绍。

知识库的表示学习的方法主要分为两类: 1) 基于张量分解的方法; 2) 基于映射的方法

  1. 张量分解的方法以RESCAL系统为主要代表。
    核心思想是将整个知识图谱编码为一个三维张量, 由这个张量分解出一个核心张量和一个因子矩阵,核心张量中每个二维矩阵切片代表一种关系, 因子矩阵中每一行代表一个实体。由核心张量和因子矩阵还原的结果被看作对应三元组成立的概率,如果概率大于某 个阈值,则对应三元组正确;否则,不正确.缺点是当关系数目较多时,张量的维度很高,分解过程计算量较大,不适用于关系数目众多而又非常稀疏的大规模知识库。
  2. 基于映射的方法主要是对于知识库中的基本语义单元:三元组进行独立建模。
    根据对语义关系r的表示方式,又可分为映射矩阵映射向量两类。
    映射矩阵典型代表Structured模型,该模型用两个分离的矩阵表示关系,不能很好地捕获关系与实体之间的联系。为改善这个模型又诞生了SME模型,LF模型,SL模型等。
    映射向量方法对于三元组的建模看作从头部实体到尾部实体的翻译.
    最早提出的模型是TransE是一种计算效率很高、预测性能非常好的模型. 对于“1-to-1”关系类型, 这一模型通常能够很好的建模.但对于“1-to-N”、“N-to-1”和“N-to-N”等关系类型存在不足。为改善这个问题又提出了TransH、TransR、TransD等。
    KG2E模型在TransE的基础上提出一种基于分布的表示学习方法,使用基于高斯嵌入的方法在多维高斯分布空间中学习知识库中实体和关系的表示.不同于TransE以及其改进模型,KG2E将知识库中的实体、类别、关系都约定服从高斯分布.通过引入协方差矩阵,该模型能够对于知识库中实体和关系的不确定性进行建模,尤其对于1-to-N和N-to-1的关系具有很好的学习效果。

问句的表示学习是通过统计学习自动获取问句(文本)的语义表示.从神经网络的结构上看,主要可以分为三种方式:递归神经网络、循环神经网络和卷积神经网络.由于已经有了神经网络的基础,这里就不详细介绍了。

基于表示学习的知识库问答方法核心是把自然语言问句和知识库中的资源都映射到同一个低维向量空间中,这样就可以将问句和答案都用一个向量来表示,知识库问答问题就被转化为求解向量相似度的问题。
基于词向量的学习方法法需要获得大量的问句–答案三元组对来训练,以得到向量词典V和W.这项工作在Reverb数据集上取得了不错的效果,F1 值达到73 %.然而,这一方法对于问句和知识库的语义分析十分粗糙,仅仅是基于词、实体、关系的语义表示的简单求和.
Yih等把知识库问答转换成两个问题,一个是找到问句中的实体和知识库中实体的对应;另一个是问句中自然语言描述和知识库中语义关系的对应.找到实体和关系后, 就可以从知识库中找到其指向的答案实体.在上述两种匹配时都 采用 CNN 来处理自然语言问句.

知识库表示学习的难点与挑战:目前的知识库表示学习方法都集中在单个知识库上, 对于多知识库的表示学习的研究较少. 在学习过程中, 如何建立异构知识库间的实体对齐、关系对齐是一个尚待研究的问题.

文本表示学习的难点与挑战:文本表示目前处于简单模型不能很好地捕获各种语义,而复杂模型在提升语义捕获能力的同时,往往使模型变得非常复杂,难以实用.如何将二者平衡是一个难点。

基于表示学习的问答系统构建的难点与挑战:如何利用表示学习自动学习推理规则,如何平衡高质量人工知识库和通过自动抽取技术得到的开放知识库的关系是一个难点。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容