Time: 2019-08-04
链接：https://youtu.be/0LhiS6yu2qQ?list=PLZbbT5o_s2xrfNyHZsM6ufI0iZENK9xgG
混淆矩阵（Confusion Matrix）
混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目：如下图，第一行第一列中的43表示有43个实际归属第一类的实例被预测为第一类，同理，第一行第二列的2表示有2个实际归属为第一类的实例被错误预测为第二类。 --《百度百科》
屏幕快照 2019-08-04 下午4.42.22.png
这是一种很好的分析模型输出结果的方法。
屏幕快照 2019-08-04 下午4.49.01.png
小总结
混淆矩阵有3个维度的信息，虽然是2维矩阵，但是颜色本身也是一个维度。
画出来的和上面百科提供的解释是一致的。
显然，主对角线上的数字表示网络的输出和真实的值一样的个数，即网络对了。
主对角线之外就是网络犯的错，也就是让网络感到困惑/混淆的地方。
屏幕快照 2019-08-04 下午4.52.04.png
也即，混淆矩阵的名称来源。
手动生成混淆矩阵
stacked = torch.stack(
( train_set.targets,
train_preds.argmax(dim=1)
), dim=1
)
stacked.shape # torch.Size([60000, 2])
cmt = torch.zeros(10, 10, dtype=torch.int32)
cmt
'''
tensor([[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0, 0, 0, 0]], dtype=torch.int32)
'''
# 手动生成confussion matrix，可以直接调用confusion_matrix方法生成
for pair in stacked:
true_label, pred_label = pair
cmt[true_label, pred_label] += 1
基于sklearn生成混淆矩阵
from sklearn.metrics import confusion_matrix
cmt_sklearn = confusion_matrix(train_set.targets, train_preds.argmax(dim=1))
train_set.targets # tensor([9, 0, 0, ..., 3, 0, 5])
train_preds.argmax(dim=1) # tensor([9, 0, 0, ..., 3, 0, 5])
绘制混淆矩阵的代码
import numpy as np
def plot_confusion_matrix(cm, labels_name, title):
plt.imshow(cm, interpolation='nearest') # 在特定的窗口上显示图像
plt.title(title) # 图像标题
plt.colorbar()
num_local = np.array(range(len(labels_name)))
plt.xticks(num_local, labels_name, rotation=90) # 将标签印在x轴坐标上
plt.yticks(num_local, labels_name) # 将标签印在y轴坐标上
plt.ylabel('True label')
另一种版本的绘制代码：
import itertools
import numpy as np
import matplotlib.pyplot as plt
def plot_confusion_matrix(cm, classes, normalize=False, title='Confusion matrix', cmap=plt.cm.Blues):
if normalize:
cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
print("Normalized confusion matrix")
else:
print('Confusion matrix, without normalization')
print(cm)
plt.imshow(cm, interpolation='nearest', cmap=cmap)
plt.title(title)
plt.colorbar()
tick_marks = np.arange(len(classes))
plt.xticks(tick_marks, classes, rotation=45)
plt.yticks(tick_marks, classes)
fmt = '.2f' if normalize else 'd'
thresh = cm.max() / 2.
for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
plt.text(j, i, format(cm[i, j], fmt), horizontalalignment="center", color="white" if cm[i, j] > thresh else "black")
plt.tight_layout()
plt.ylabel('True label')
plt.xlabel('Predicted label')
总结
使用scikit-learn可以减少很多代码量，因为它抽象了很多操作，如果懂基础操作，再用scikit-learn就非常得心应手了。
END.
