通过几天的学习终于将CNN给克服了,有收获会在程序注释中体现。简单介绍介绍下创建的神经网络，由 卷积层 ，池化层 ，卷积层 ，池化层，全连接层，分类层构成。
有几点要注意：
第一，在CNN中通常采用RELU作为激励函数，将线性的变成非线性的。
第二，优化器的选择，一般选用AdamOptimizer，不用梯度下降法，梯度下降一般用在较为简单的数据上。
第三，卷积和池化所需的数据应该为3维数据，全连接所需数据为1维数据。
第四，为了防止过拟合引入，tf.nn.dropout（）用在全连接层。Dropout就是在不同的训练过程中随机扔掉一部分神经元。也就是让某个神经元的激活值以一定的概率p，让其停止工作，这次训练过程中不更新权值，也不参加神经网络的计算。但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。训练过程需要用到dropout,在测试中不需要用到反而应当将所有的神经元用上。
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist=input_data.read_data_sets('MNIST_data',one_hot=True)
#创建一个神经层
import numpy as np
def add_layer(inputs,in_size,out_size,activation_function=None):
#这里激励函数默认为0，则可认为激励函数为线性
Weights=tf.Variable(tf.random_normal([in_size,out_size]))
biases=tf.Variable(tf.zeros([1,out_size]))+0.1
Wx_plus_b=tf.matmul(inputs,Weights)+biases
#还未被激活的值被赋予在Wx_plus_b中，下一步是去激活他
if activation_function is None:
outputs=Wx_plus_b
#说明outputs是一个线性方程，不需要去activation_function.
#使用activation_funtion将一个线性的函数变换成一个非线性的函数
else:
outputs=activation_function(Wx_plus_b)
return outputs
def compute_accuracy(v_xs,v_ys):
global prediction
y_pre=sess.run(prediction,feed_dict={xs:v_xs})
correct_prediction=tf.equal(tf.argmax(y_pre,1),tf.argmax(v_ys,1))#tf.argmax()对矩阵按行或按列计算最大值所在位置，0表示按列，1表示按行
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
#tf.cast()，是类型转换函数，转换成float32类型
result=sess.run(accuracy)
return result
#用于初始化所有的权值w
def weight_variable(shape):
intial=tf.truncated_normal(shape,stddev=0.1)
#tf.truncated_normal(shape, mean, stddev) :shape表示生成张量的维度，mean是均值，stddev是标准差。
return tf.Variable(initial)
#用于初始化所有的偏置项
def bias_variable(shape):
initial=tf.constant(0.1,shape=shape)
return tf.Variable(initial)
#用于构建卷积层
def conv2d(x,W):
#stride[1,x_movement,y_movement,1]
return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')
#用于构建池化层
def max_pool_2x2(x):
#池化窗口的大小，取一个四维向量，一般是[1, height, width, 1]，因为我们不想在batch和channels上做池化，所以这两个维度设为了1
return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')
#defind placeholder for inputs to network
xs=tf.placeholder(tf.float32,[None,784])#28*28
ys=tf.placeholder(tf.float32,[None,10])
keep_prob=tf.placeholder(tf.float32)
x_image=tf.reshape(xs,[-1,28,28,1])
#理解一下[-1,28,28,1],-1含义我们不用去管这个维度的大小，reshape会自动计算。可以理解为导入数据的多少张图片。28，28长和宽，1表示图像时黑白的，若是彩色图像就该改变为3
print(x_image.shape)#[n_sample,28,28,1]
##conv1 layer#
W_conv1=weight_variable([5,5,1,32])#patch 5*5,insize=1,outsize=32 实在不理解就把输入的图像厚度为1，输出的为32
b_conv1=bias_variable([32])
h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)#output size 28*28*32
h_pool1=max_pool_2x2(h_conv1) #output size 14*14*32
##conv2 layer##
W_conv2=weight_variable([5,5,32,64])#patch 5*5,insize=32,outsize=64 实在不理解就把输入的图像厚度为1，输出的为32
b_conv2=bias_variable([64])
h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2)#output size 14*14*64
h_pool2=max_pool_2x2(h_conv2) #output size 7*7*64
##func1 layer##
W_fc1=weight_variable([7*7*64,1024])
b_fc1=bias_variable([1024])
#卷积和池需要时3维数据，全连接需要1维数据
#[n_samples,7,7,64]转换成[n_samples,7*7*64]
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)
#防止over fiting
h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)
##func2 layer##
W_fc2=weight_variable([1024,10])
b_fc2=bias_variable([10])
#卷积和池需要时3维数据，全连接需要1维数据
predicition=tf.nn.softmax(tf.matmul(h_fc1_drop,W_fc2)+b_fc2)
#the error between prediction and real data
cross_entropy=tf.reduce_mean(-tf.reduce_sum(ys*tf.log(prediction)),reducition_indices=[1]))
#交叉熵
train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
init=tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
for i in range(1000):
batch_xs,batch_ys=mnist.train.next_batch(100)#随机选取100组数据进行训练
sess.run(train_step,feed_dict={xs:batch_xs,ys:batch_ys},keep_prob:0.5)
if i%50==0:
print(compute_accuracy(mnist.test.images,mnist.test.labels))
