开篇
对于自然语言处理(NLP)我是一个入门菜鸟,在后面一段工作时间中,我将大量接触金融的AI业务,因此需要补充些该领域的知识。经过了解发现AI金融有很多业务是和NLP相关的,当然也有OCR、图像检测分类、人脸识别和语音识别等。
上周接触了一下文本分类,了解的不多,学习了一下ATT-CNN用于文本分类的代码,发现了一些问题,写这篇博客记录一下。首先描述下代码中实现文本分类(句子为单样本)的方式:1、中文文本分词、分字符,用的是jieba;2、构建字典、词典,最长句子作为所有句向量的长度;3、字、词向量嵌入用embedding_lookup;4、句子与单个字符或词用attention,单个词向量使用attention之后增加一倍的长度;5、字词分别做卷积、池化,然后拼接合并,用统一标签求loss。
主要就是在上述的第4步骤中,原始的代码用了多次循环去求取增加的这一倍向量,导致前向计算和反向求导所用时间巨长,加载图的过程就花费不止2个小时,所以修改了下实现方式。
ATT-CNN的介绍
https://blog.csdn.net/tcx1992/article/details/83344272
原作者代码实现
https://github.com/tcxdgit/cnn_multilabel_classification/blob/master/cnn_attention_model.py
参考的方法
//www.greatytc.com/p/cc6407444a8c
改动前
def word_attention(self, x_i, x, index):
"""
计算词attention
:paramx_i: 当前时间(step)的词向量
:paramx: 所有时间(整个句子)的向量(矩阵)
:paramindex: 当前step
:return:
"""
with tf.device(self.train_device):
e_i =list()
c_i =list()
for outputin x:
output = tf.reshape(output, [-1, self.embedding_size])
att_hidden = tf.tanh(tf.add(tf.matmul(x_i, self.attention_W), tf.matmul(output, self.attention_U)))
e_i_j = tf.matmul(att_hidden, self.attention_V)
e_i.append(e_i_j)
e_i = tf.concat(e_i, axis=1)
alpha_i = tf.split(tf.nn.softmax(e_i), self.sentence_length, 1)
for j, (alpha_i_j, output)in enumerate(zip(alpha_i, x)):
if j == index:
continue
else:
output = tf.reshape(output, [-1, self.embedding_size])
c_i_j = tf.multiply(alpha_i_j, output)
c_i.append(c_i_j)
c_i = tf.reduce_sum(tf.reshape(tf.concat(c_i, axis=1), [-1, self.sentence_length -1, self.embedding_size]), 1)
return c_i
改动后
def word_attention_wpf(self, x_i, x, index):
"""
计算词attention
:paramx_i: 当前时间(step)的词向量
:paramx: 所有时间(整个句子)的向量(矩阵)
:paramindex: 当前step
:return:
"""
with tf.device(self.train_device):
output=tf.tile(tf.expand_dims(tf.matmul(x_i, self.attention_W),1),[1,x.get_shape().as_list()[1],1])
att_hidden = tf.tanh(tf.add(output, tf.tensordot(x, self.attention_U,axes=1)))
e_i_j = tf.tensordot(att_hidden, self.attention_V,axes=1)
alpha_i = tf.nn.softmax(e_i_j)
c_i_j = tf.multiply(alpha_i, x)
#tf.assign(c_i_j[:,index,:],0)
c_i = tf.reduce_sum(c_i_j,1)