情感分类模型:Word2Vec + RNN

一、基于 Word2Vec 对预处理好的文本数据进行训练,得到词嵌入矩阵 E,Word2Vec 原理如下,以“I drink coffee everyday”为例:

step-1,输入输出 one-hot 编码,确定采样窗口大小等一系列参数


step-2,初始化嵌入层 E(隐层数 * 字典词数)


step-3,得到每个词的词向量 E * oi = ei,词向量加权平均得到 sita 向量


step-4,初始化 W 矩阵(字典词数 * sita行数),W * sita = u


step-5,softmax(u) = y_hat,Obj = cross_entropy,Opti = GD to E and W


二、将嵌入层套入 RNN 训练情感分类模型


LSTM 细节如下:



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 词向量也称为词嵌入,是指将词转换成为向量的形式。 为何需要词向量 对于非结构化的数据:音频,图片,文字。前面两种的...
    shohokuooo阅读 9,904评论 3 51
  • "use strict";function _classCallCheck(e,t){if(!(e instanc...
    久些阅读 2,053评论 0 2
  • 结婚十年了,柴米油盐的平淡日子竟是过的如此之快。从刚毕业懵懵懂懂不谙世事的小姑娘,到现在两个孩子的妈妈。但心底始终...
    爱存心间阅读 257评论 0 0
  • 你的世界也许就这么大, 于是你将自己的世界划成一个圈。 圈里, 是你所在乎的,关心的人; 圈外, 你与那些人早就形...
    醒客阿滨2阅读 312评论 0 1
  • 常常有人在文章中说但凡能得善果的人,人品一定差不了,我们也常常会在电视剧中看到,但凡是人品好的人,最后一定是得善果...
    风中蓝荷阅读 496评论 0 2