2.5 tensorflow运作方式入门的笔记
输入与占位符：
定义传入图表的参数shape，后续训练过程中使用feed_dict参数，将数据传入session.run()函数
tf.placeholder(tf.int32, shape=(batch_size))
构建图表：推理、损失和训练
推理：尽可能地构建图表，做到返回包含了预测结果（output prediction）的Tensor
1.定义权重和偏差并初始化操作
2.定义模型层次构成
损失：函数通过添加所需的损失操作，进一步构建图表。
1.首先将标签转换为one-hot形式
batch_size = tf.size(labels) #返回tensor labels的形状
labels = tf.expand_dims(labels,1) #张量在1维上增加~ shape[n,1]
indices = tf.expand_dims(tf.range(0, batch_size,1),1) #与label一一对应的index
concated = tf.concat( [indices, labels],1) #数据组合
onehot_labels = tf.sparse_to_dense( concated, tf.pack([batch_size, NUM_CLASSES]),1.0,0.0) #就是讲矩阵concated变为一个batch_size*NUM_CLASSES的矩阵，其中concated中每一行有两列，第一个数表示行号，第二个数表示label的类别，变为稠密矩阵以后，设第i行中label值为3，则稠密矩阵的第i行中第3列为1，该行其他列数值为0
attension：！tensorflow后面版本把pack更新为stack（）函数！
！！tf.concat函数版本不同参数设置不同，新版本的维度在后，value在前！！
！！！tensorflow中只有经过Session后才能看到运行的结果，不可以直接 print！！！
详解函数：
❤tf.concat(values，concat_dim ) 函数用来连接两个tensor.
参数：values：表示两个或者一组待连接的tensor.
concat_dim：表示在哪一维上连接，必须是一个数.如果concat_dim=0，表示在第一个维度上连，相当于叠放到列上；
如果concat_dim是1，表示在第二个维度上连
！如果要连接两个向量，必须要调用tf.expand_dims()函数来扩维，这就是在调用tf.concat()函数前先调用tf.expand_dims()函数的原因。
❤tf.sparse_to_dense(sparse_indices, output_shape, sparse_values, default_value)可以用来生成稀疏矩阵.
参数：sparse_indices：稀疏矩阵中那些个别元素对应的索引值。
有三种情况：
sparse_indices是个数，那么它只能指定一维矩阵的某一个元素.
sparse_indices是个向量，那么它可以指定一维矩阵的多个元素.
sparse_indices是个矩阵，那么它可以指定二维矩阵的多个元素.
output_shape：输出的稀疏矩阵的shape.
sparse_values：个别元素的值，即第一个参数选中的位置的值.
分为两种情况： sparse_values是个数，那么所有索引指定的位置都用这个数.
sparse_values是个向量，那么输出矩阵的某一行向量里某一行对应的数（因此这里向量的长度应该和输出矩阵的行数应该对应，不然会报错）.
default_value：未指定元素的默认值，如果是稀疏矩阵，则应该为0.
❤tf.stack(values, axis=0)函数将一系列rank-R的tensor打包为一个rank-(R+1)的tensor
测试实验结果如下：
label = [3,5]
print (tf.shape(label))
index = tf.range(0,2)
print (tf.shape(index))
labels = tf.expand_dims(label,1)
indexs = tf.expand_dims(index,1)
print (tf.shape(labels))
print (tf.shape(indexs))
concated = tf.concat([indexs,labels],1)
one_hot = tf.sparse_to_dense(concated,tf.stack([2,10]),1.0,0.0)
with tf.Session() as sess:
result = sess.run(one_hot)
print (result)
结果如下：
2.计算交叉熵来比较inference（）函数与所生成标签的输出logits tensor。
❤cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits, onehot_labels, name='xentropy')
参数：
logits：神经网络最后一层的输出，如果有batch的话，它的大小就是[batchsize，num_classes]，单样本的话，大小就是num_classes
labels：实际的标签，大小同上
返回值：一维向量，长度为batch_size.
然后计算batch维度下的交叉熵平均值为loss：
❤loss = tf.reduce_mean(cross_entropy, name='xentropy_mean')
训练：添加通过梯度下降（gradient descent）将损失最小化所需的操作
1.获取损失loss tensor
tf.scalar_summary(loss.op.name, loss)
2.实例化梯度下降器
optimizer = tf.train.GradientDescentOptimizer(FLAGS.learning_rate)
3.生成一个保存全局训练步骤的数值，使用minimize（）函数更新权重
global_step = tf.Variable(0, name='global_step', trainable=False)
train_op = optimizer.minimize(loss, global_step=global_step)
状态可视化：
1.将所有即时数据在图表构建阶段合并至一个操作中
summary_op = tf.merge_all_summaries()
2.实例化事件文件
summary_writer = tf.train.SummaryWriter(FLAGS.train_dir,graph_def=sess.graph_def)
summary_str = sess.run(summary_op, feed_dict=feed_dict)
summary_writer.add_summary(summary_str, step)
保存检查点：用于恢复模型来进一步训练或评估
1.实例化tf.train.Saver
2.saver.save
3.saver.restore
