NLP 学习3

Task3 基于机器学习的文本分类

文本表示方式

one-hot
Bags of Words 词袋模型
1.若采用只记录是否出现，即0/1的形式。只能表现出词是否出现的差异，并没有刻画词出现次数多少的差异。
2.若采用记录频数的方式，那么长文本的比短文本的出现次数可能更多。
3.若采取记录频率的方式，但并没有刻画出，独特词汇对文章的信息，有时低频率的词更能反映特定行业的文章。
N-gram
加入相邻单词组合成新的单词，加入滑窗，保留一定上下文信息。
TF-IDF
TF-IDF由两部分组成，词语频率TF（Term Frequency）和逆文档频率IDF（Inverse Document Frequency）。在词袋模型（3）的基础上，加入了逆文档频率，刻画特定词汇的信息。
$TF_d(w)=\frac{c_d(w)}{|d|}\\ IDF_d(w)=\log(\frac{N}{\sum_i I_{w\in D_i}})$
其中 $TF_d(w)$ 是词 $w$ 在文章 $d$ 中出现的频率，分子为 $w$ 在文章 $d$ 中出现的频数，分母为文章 $d$ 词的总数。 $IDF_d(w)$ 的分子 $N$ 为总文章数目，分母为出现词语 $w$ 的文章数目。

TF-IDF的推导

TF-IDF通过TF刻画了某一个词汇在文章中出现的频率，代表这个词对于文章的贡献，通过IDF刻画某一个词在文章集中的独特性。

1.2.3的想法都是比较直观的，TF-IDF的修正也比较直观，但是形式上值得我们思考，为什么IDF不采用TF一样的格式，而是采用log的方式？

从信息熵的角度出发：
$I(w)=-p(w)logp(w)$
其中 $I(w)$ 是词语 $w$ 在语料库中的信息熵，我们可以使用信息熵来判断词语的重要性，但是可能存在这样子的情况：两个词的出现总数相同，但是一个是集中于几篇，另外一个词语是均匀分散。尽管信息量相同，但是两者的区分效果是天差地别的。在这基础上，我们基于如下假设，做分析：

所有文本的长度均一致，为 $M$ 。
某一个词语，要么不出现在文章中，若出现，则次数一定为 $k(w)$ 。

记文章总数为 $N$ ，词语 $w$ 出现的文章数为 $N(w)$ 。

推导

对于文章 $d$ 中的词语 $w$ ，有
$\begin{align} p(w)&=\frac{N(w)k(w)}{NM}\\ TF_d(w)&=\frac{c_d(w)}{|d|}=\frac{k(w)}{M}\\ p(w)& = \frac{N(w)}{N}TF_d(w)\\ 那么 I(w)&= \frac{N(w)}{N}TF_d(w)log\frac{NM}{N(w)k(w)}\\ 在文本确定后，&\frac{N(w)}{N}为常数，略去\\ 化简I(w)&=TF_d(w)*IDF_d(w)+TF_d(w)log\frac{M}{k(w)} \end{align}$
观察上式， $M,k(w)$ 为定值，因此TF-IDF可以视为在一定条件下对词语 $w$ 的信息熵的刻画。

参考《数学之美》

作业1， TF-IDF的参数

max_feature数目

分类器使用Ridge分类器的OvR

train_loss = []
val_loss = []
feature_num_arr = [1000, 1500, 2000, 2500, 3000, 3500, 4000, 4500, 5000, 5500, 6000, 6500, 7000, 7500, 8000]
for feature_num in feature_num_arr:
    tfidf = TfidfVectorizer(ngram_range=(1,3), max_features=feature_num)
    train_test = tfidf.fit_transform(train_df['text'])
    
    clf = RidgeClassifier()
    clf.fit(train_test[:10000], train_df['label'].values[:10000])
    
    train_pred = clf.predict(train_test[:10000])
    train_loss.append(f1_score(train_df['label'].values[:10000], train_pred, average='macro'))
    val_pred = clf.predict(train_test[10000:])
    val_loss.append(f1_score(train_df['label'].values[10000:], val_pred, average='macro'))

结果图如下：

结果.png

从结果我们可以看出，提取的tf-idf词越多，在一定范围内是会增加效果。但是，当继续增加时，效果并不会增加，这是因为数据稀疏。我们采取的模型还能有效得解决数据稀疏问题，如果选用深度模型，这可能会导致难以训练得问题。（下一步改进的方向）

N-gram数目

train_loss = []
val_loss = []
feature_num_arr = range(1, 10)
for feature_num in feature_num_arr:
    tfidf = TfidfVectorizer(ngram_range=(1,feature_num), max_features=5500)
    train_test = tfidf.fit_transform(train_df['text'])
    
    clf = RidgeClassifier()
    clf.fit(train_test[:10000], train_df['label'].values[:10000])
    
    train_pred = clf.predict(train_test[:10000])
    train_loss.append(f1_score(train_df['label'].values[:10000], train_pred, average='macro'))
    val_pred = clf.predict(train_test[10000:])
    val_loss.append(f1_score(train_df['label'].values[10000:], val_pred, average='macro'))

通过实验，我发现n>=2的时候效果均挺好，虽然这仅仅是在ridge分类下的结果，但我们也可以得到，我们的文本，应该是单个的字。因为当n=2，就可以获得前后文信息，由单字组成词语，效果有着显著的提升。

ngram.png

作业2：不同模型

为了比较不同模型，采用了Ridge分类，Logistic分类，随机森林，SVM。在n=3，特征词数目5500下，进行训练。

结果.png

可以发现，随机森林过拟合现象很严重，有可能是tf-idf过于稀疏导致的。