论文笔记 | 通过DMCNN实现事件抽取

本文主要复述论文["Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks"] 的主要内容,以便自我回顾,也希望可以给大噶带来帮助~

摘要

传统ACE事件提取的方法主要依赖于精心设计的功能和复杂的自然语言处理(NLP)工具。这些传统方法缺乏泛化,需要大量人力,容易出现错误传播(error propagation)和数据稀疏性(data sparsity)问题。本文提出了一种新的事件提取方法,旨在自动提取词汇级(lexical-level)和句子级(sentence-level)功能,而无需使用复杂的NLP工具。我们引入了一个单词表示模型,用于语言的语义规范,并采用基于卷积神经网络(CNN)的框架来捕获句子级线索。然而,CNN只能捕获句子中最重要的信息,并且在考虑多事件句子时可能会遗漏有价值的事实。我们提出了一种动态多池卷积神经网络(DMCNN -- dynamic multi-pooling convolutional neural network),它根据事件触发器和参数使用动态多池层来保留更多关键信息。

介绍

目前事件抽取最先进的方法,是采用一组精心设计的特征,这些特征是由文本分析和语言知识提取的。通常分为两类:词法特征和上下文特征。
-词法特征
词法特征包括词性标签(part-of-speech tags)、实体信息、形态特征(例如,标记,引理等),其旨在捕获语义或单词的背景知识。由于这些预测语义背景的线索的有限性,以及单词独热编码(one-hot)带来的数据稀疏性问题,会导致无法充分捕获单词的语义。
-上下文特征
上下文特征,比如语法特征可以从依存关系中获取其参数和触发词的联系。我们称这种信息为句子级(sentence-level)线索。但是我们无法通过这类传统依存特征获取目标角色,此外,在特征学习中还有可能导致错误传播。
-卷积神经网络
论文中描述到,最近卷积神经网络(CNN)的改进已经被证明能够有效地捕获句子中的单词之间的句法和语义。CNN通常使用最大池化层,其对整个句子的表示应用最大操作以捕获最有用的信息。但是,在事件提取中,一个句子可能包含两个或多个事件,并且这些事件可能共享具有不同角色的参数。例如,S3(S3: In Baghdad, a cameraman died when an American tank fired on the Palestine Hotel. )中有两个事件,即Die事件和Attack事件。如果我们使用传统的最大汇集层并且只保留最重要的信息,那么我们可以获得描述“摄像师死亡”的信息,但是错过了关于“美国坦克的信息”的信息,这对预测攻击事件非常重要,对于将摄像师附加到红色是很有价值的。作为目标论点。在我们的实验中,我们发现这样的多事件句子占我们数据集的27.3%,而这个现象我们无法通知。

事件提取

事件提取系统:预测具有特定子类型的事件触发器及其对每个句子的参数。
论文中将该实现分为两个阶段:1.触发分类。使用DMCNN对句子中的每个单词进行分类以识别触发单词。2.若一个句子具有触发器,则执行阶段二,应用类似的DMCNN来为触发器分配参数并对齐参数的角色。


figure1 参数分类阶段的体系结构。其中预测触发器fired,候选参数cameraman

1.Word Embedding

论文中选用Skip-gram模型对数据做预处理,选定窗口大小c后,通过对目标函数求最大似然函数:
maximizing the average log probability
其中的概率由softmax函数定义(说明:每个词对应两个向量):

得到所有的word embeddings之后,将其连接入词汇级特征向量,表示参数分类中的词汇级特征。
2.采用DMCNN提取句子级特征

论文中提出了三种输入类型提供给DMCNN。

-Context-word feature (CWF):通过查找word embeddings而转换的每个单词标记的向量
-Position Feature(PF):表当前单词与预测的触发器或候选参数的相对距离。位置特征的每个距离值也由embedding vector表示,同时距离值也会随机初始化并通过反向传播进行优化。
-Event-type feature (EF):对触发分类阶段的预测进行事件类型编码,作为DMCNN亦或PF中的重要线索。

设定CWF的维度d=4、PF的d=1、EF=1,由其拼接成的词特征向量的长度d=dw+dp×2+de,得到输入矩阵X∈R(n×d),进入卷积层。
设定h个word大小的窗口,滤波器w ∈ R(h×d),通过运算(4)产生新特征ci,其中b∈R是偏置项,f是非线性函数,如双曲正切。 该滤波器应用于句子x1:h,x2:h+1,...,x(n-h+1):n中的每个可能的单词窗口,以产生特征映射ci,其中索引i的范围从1到n-h+1。

为了捕获不同的特征,通常在卷积中使用多个滤波器。假设在此使用m个滤波器,其运算可表示为(5)。
与传统最大池不同,因为在本文的任务中,一个句子可能包含两个或更多个事件,并且一个参数候选者可能在不同的触发器中扮演不同的角色。为了进行准确的预测,论文中采用动态多池化,根据参数分类阶段中的候选参数和预测触发将每个特征映射分成三个部分,保留每个拆分部分的最大值,而不是使用一个最大值来表示整个特征映射。对应上面的figure1,特征映射输出cj由“cameraman”和“fired”划分为cj1,cj2,cj3。动态多池可以表示为公式(6),其中1≤j≤m且1≤i≤3。
通过动态多池层,我们获得每个特征映射的pji。 然后,我们将所有pji连接起来形成一个向量P∈R(3m),它可以被认为是更高级别的特征(句子级特征)。

3.Output

上面学习到的特征被连接成单个向量F = [L,P]。 为了计算每个参数角色的置信度,特征向量F∈R(3m+ dl),其中m是特征图的编号,并且dl是词汇级特征的维度,被馈送到分类器中。
Ws∈R[n1×(3m+dl)]是变换矩阵,O∈R(n1)是网络的最终输出,其中n1等于参数角色的数量,包括在活动中扮演任何角色的候选参数的“无角色”标签。对于正则化,在倒数第二层采用dropout,可以防止隐藏单元的协同适应,而不是在前向和后向传播期间随机地丢弃隐藏单元的不成比例。
4.Training
论文中将参数分类阶段的所有参数定义为θ=(E,PF1,PF2,EF,W,b,WS,bs)。给定输入s、具参数θ的网络输出向量O、其中第i个分量Oi包含自变量角色i的分数。对所有参数角色的score应用softmax操作(8),从而获得条件概率p(i|x,θ)。并定义目标函数(9),通过SGD计算最大似然函数得到参数θ。

5.Trigger Classification模型
触发器分类中,仅在词法级特征表示中使用候选触发器及其左右令牌。 在句子级别的特征表示中,我们使用与参数分类中相同的CWF,但仅使用候选触发器的位置来嵌入位置特征。 此外,不是将句子分成三个部分,而是通过候选触发器将句子分成两部分。 除了上述特征和模型的变化之外,论文中对一个论证进行了分类。 这两个阶段构成了事件提取的框架。

实验

判定预测事件准确性的标准:
1.如果触发器的事件子类型和偏移量与参考触发器的类型匹配,则触发器是正确的。
2.如果参数的事件子类型和偏移量与任何参考参数提及的参数匹配,则可以正确识别参数。
3.如果参数的事件子类型,偏移量和参数角色与任何引用参数提及的参数匹配,则参数被正确分类。

---实验数据与其他模型的比较:
---模型之间的比较:
---词汇级特征与句子级特征的比较:
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
禁止转载,如需转载请通过简信或评论联系作者。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,743评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,296评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,285评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,485评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,581评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,821评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,960评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,719评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,186评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,516评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,650评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,329评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,936评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,757评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,991评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,370评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,527评论 2 349

推荐阅读更多精彩内容