计算两个句子(文档)的相似度

通过对一句话分词,训练每个词的词向量之后,判断两个句子是否相似

一个相关链接:

如何通过词向量技术来计算2个文档的相似度? - 吴俣的回答 - 知乎
https://www.zhihu.com/question/33952003/answer/135089460

常用的几种方法:

  • Siamese-CNN
  • Siamese-LSTM(BiLSTM, GRU)
  • Attention(Memory Network)
  • Attention weighted(CNN, LSTM)
    • ABCNN(不太喜欢,像是硬用进去,感觉不太优美)
  • Word Mover's distance

一些经验:

  • 基于句子交互(点积,差绝对值等等) 比 基于表示(直接余弦相似度)好

(可能这个问题的重心已经不再是如何通过NN的优化最大程度的保留句子的语义信息,而是更多去寻求一些比较明显的特征直接比较?)

ABCNN

看了好久才弄懂ABCNN的卷积过程。
其实卷积也还是就是Yoon Kim的方法。
协助理解的时候,这篇讲的还是很好的:

https://blog.csdn.net/liuchonge/article/details/69587681

后面这里提了一下,说把中间pooling层的输出也合并到最后的输出里,可以增强performance

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。