一、摘要
Chen, Q., Zhu, X., Ling, Z., Wei, S., Jiang, H., & Inkpen, D. (2016). Enhanced LSTM for Natural Language Inference, (2008). https://doi.org/10.18653/v1/P17-1152
发表于ACL 2017
arxiv地址：http://arxiv.org/abs/1609.06038
代码：https://github.com/lukecq1231/nli
这篇论文认为序列推理模型并没有被好好研究，很多取得好效果的方法都是设计了很复杂的模型，所以他们提出 ESIM (Enhancing Sequential Inference Model) ，并融合了基于句法树的 tree-LSTM，能在 SNLI 上达到最佳效果（accuracy = 88.6%）。
二、问题
自然语言推理（NLI: natural language inference）问题：即判断能否从一个前提p中推导出假设h，简单来说，就是判断给定两个句子的三种关系：蕴含、矛盾或无关。
使用数据集是 Stanford Natural Language Inference (SNLI) dataset，570k English sentence pairs
这个问题和计算句子相似度有一个比较明显的不同，是结果是非对称的，但我也看到有人用这个模型计算句子的相似度（需要做一点改动）。
三、方法
先放一张模型结构图，可以看到分为左右两边，左侧就是 ESIM，右侧是基于句法树的 tree-LSTM，两者合在一起交 HIM (Hybrid Inference Model)。整个模型从下往上看，分为三部分：input encoding，local inference modeling, and inference composition.
为了避免重复和麻烦，这篇笔记会只是用左侧 ESIM 的部分的标记和模型，右侧的处理方法基本一致。
3.1 notation
a 和 b 是两个句子词向量（可能是预训练或者解析数）组成的矩阵
3.2 input encoding
使用 BiLSTM 分别学习a 和 b 的词与上下文信息，得到新的向量表示：
注意这里的 a 和 b 是有下标的，表示的是词，词向量的维度是一样的。
3.3 local inference modeling
使用软对齐的方法 (soft alignment or soft attention)
3.3.1 计算词相似度矩阵
3.3.2 句子相互表示做局部推理
用 b 中所有词向量来表示 a 中每个位置的词，使用 3.3.1 中计算的相似度进行加权 (softmax)
3.3.3 局部推理信息增强
将以上得到的对两个句子的表示做差和点积（element-wise product，每个元素单独相乘），更清晰地区别a和a(hat)的局部的推断信息，获取例如“对立”的推断关系。
下面用 ,
和
,
表示 3.2 和 3.3.2 产出的结果。
这里可以检查一下，如果词向量的维度是300，a 有10个词， 和
都是 10 * 300 的矩阵，所以 ma 的维度应该是 10 * 1200，相当于把每个词的表示从300维扩充到1200维。
3.4 inference composition
仍然是用 BiLSTM 组合 ma 和 mb，公式与 3.2 中相同，但目标变成了获取 local inference ma and mb 的上下文信息。
为了控制模型复杂度，使用了1层网络+relu激活处理 ma 和 mb，经 BiLSTM 之后得到的句子矩阵表示分别是 va 和 vb。
然后使用 avg + max pooling 得到一个定长的向量，输入到全连接网络中
这里经过 pooling 之后的结果就与句子中词的个数 la 和 lb 无关了，v 是一个 4800 维的向量了。
3.5 MLP
一个隐层（tanh激活）
一个softmax的输出层
用 multi-class cross entropy 作为 loss
四、实验与效果
- 词向量用 Glove pre-train 300维，训练过程不 fix
- 优化 adam，第一个 momentum 0.9, 第二个 0.999
- learning rate 0.0004
- batch size 32
- 所有 LSTM, tree-LSTM 隐状态都是 300 维
- dropout 0.5
单独 ESIM 已经达到88%，超越了之前的很多模型，在融合 tree-LSTM 之后进一步提升到 88.6%
