工程构建
- 导入
sklearn相关包
import numpy as np
rom sklearn.neural_network import MLPClassifier
- 定义
readDataSet(fileName, isTest)函数,用于加载训练数据,返回特征数据(dataSet)和标签(label)
# fileName: 文件名字
# isTest: =True为测试数据时,只有54列,label直接设0
def readDataSet(fileName, isTest):
fr = open(fileName,encoding='utf-8')
lines = fr.readlines()
numLabels = len(lines)
labels = np.zeros(numLabels) #用于存放标签数据
dateSet = np.zeros([numLabels,54],int) #用于存放特征数据
# 逐行读取数据到dataSet,labels
# 总共55列,前54列是样本特征,最后一列是样本类别(label)
for i in range(numLabels):
line = lines[i]
label = 0
if isTest: #True:测试集只有54列,最后标签直接设为0
label = 0
else: # False:取最后一列为标签数据
label = line.split(' ')[54]
labels[i] = label
dates = np.zeros(54)
for j in range(53): # 前54列添加为特征数据
dates[j] = line.split(' ')[j]
dateSet[i] = dates
fr.close()
return dateSet,labels
添加isTest参数是为了区别训练集(55列)与测试集数据(54列)列数不同,便于交叉验证时,统计错误数量,核算正确率.
- 加载训练数据
train_dataSet,train_labels = readDataSet('data_train.txt', False)
- 构建神经网络
设置网络的隐藏层数、各隐藏层神经元个数、激活函数、学习率、优化方法、最大迭代次数
clf = MLPClassifier(hidden_layer_sizes=(100,),
activation='logistic', solver='adam',
learning_rate_init = 0.0001, max_iter=2000)
print(clf)
clf.fit(train_dataSet,train_labels)
- 加载测试集,使用构建好的KNN分类器对测试集进行预测
test_dataSet,test_labels = readDataSet('data_test.txt', False)
res = clf.predict(test_dataSet)
error = 0
for i in range(len(res)):
if res[i] != test_labels[i]:
error += 1
print('error:',error,'正确率:',(len(res) - error) / len(res))
邻居数量K影响对比
- 情况一：使用
logistic激活函数和adam优化方法,设初始学习率为0.0001,最大迭代次数为2000
运行神经元个数为50、100、200的实验对比结果
| n_hidden_layer_sizes | 50 | 100 | 200 |
|---|---|---|---|
| 正确率 | 78% | 80% | 83% |
随着隐藏层神经元个数的增加,MLP的正确率持上升趋势
- 情况二：使用
adam优化方法,设神经元个数为100,初始学习率为0.0001,最大迭代次数为2000
运行激活函数分别为logistic、identity、tanh、relu的实验对比结果
| activation | identity | relu | tanh | logistic |
|---|---|---|---|---|
| 正确率 | 59% | 61% | 75% | 80% |
我们可以看出logistic的正确率最高
- 情况三：使用
logistic激活函数和adam优化方法,设神经元个数为100,初始学习率为0.0001
运行最大迭代次数为500、1000、1500、2000的实验对比结果
| max_iter | 500 | 1000 | 1500 | 2000 |
|---|---|---|---|---|
| 错误数 | 8125 | 7690 | 7805 | 7812 |
| 正确率 | 59% | 61% | 75% | 80% |
当最大迭代次数> 1500时,正确率基本保持不变,这说明MLP在第1500迭代时已经收敛
