一、目标
训练一个单变量线性方程：
y = w * x + b
来拟合一系列根据随机分布人工生成的点集
二、人工生成目标训练集
1. 方案
在如下线性方程
y = 2.0 *x +1.0
的基础上添加振幅为0.4的噪声来生成训练集（也暗示了我们的训练结果应该接近w=2.0, b=1.0）
2. 代码实现
载入库并显示TensorFlow版本
import matplotlib.pyplot as plt #载入matplotlib
import numpy as np #载入numpy
import tensorflow as tf #载入TensorFlow
print(tf.__version__)
设置随机种子
np.random.seed(5) #设置随机种子
设置随机种子的目的是为了让任何人每次生成的随机数总是固定的，以便于对照结果（本质上不是必须的，只是练习的一种手段）
在-1至1之间生成100个等间距的值作为特征集
x_data = np.linspace(-1, 1, 100)
注：np.linspace生成的是双闭区间，即第一项是-1，最后一项是1
然后按 y = 2.0 *x +1.0 并添加噪声来生成对应的标签集
y_data = 2.0 * x_data + 1.0 +np.random.randn(*x_data.shape) * 0.4
np.random.randn(x,y,z...)，其中x,y,z...是整数，这样就可以生成shape为(x,y,z...)numpy张量，其中每一个元素都按标准（normal）正态分布随机取得。x_data.shape等于元组(100,)，前面加“*”是对list或tuple拆包，可以理解为把list或tuple的元素一个个按顺序取出来。也就是说上面这一行的效果等于np.random.randn(100)
3. 用matplotlib可视化
可以用matplotlib可视化上述定义的散点图
plt.scatter(x_data, y_data)
也可以用下面的代码画出我们目标的线性函数，并设颜色为红色定、线宽为3
plt.plot(x_data, 2.0 * x_data + 1.0, color = 'red', linewidth = 3)
输出
三、构建回归模型
用变量创建训练目标——斜率w和截距b
w = tf.Variable(1.0, name = 'w0')
b = tf.Variable(0.0, name = 'b0')
w和b训练开始的初值分别设为1.0和0.0（随意给的，但并不是所有模型随便给都好，可能影响训练效果），tf.Variable默认trainable为True，意味着w和b可以在训练过程中被改变——我们的目标就是通过训练，自动得到w和b的值。
接着定义模型函数和预测值节点
def model(x, w, b):
return tf.multiply(x, w) + b
四、 训练模型
模型的训练是一个反复迭代的过程，通过当前参数的模型以及标签值来计算损失，根据损失来调整参数然后更新模型原来的参数。
1. 设置超参数
超参数影响模型的训练效果，是训练前设置的，不随训练变化——与被训练参数（本例是w和b）相对。本例中两个主要的超参数是迭代轮数（epochs）和学习率（learning rate）
迭代可以由条件终止。或手动设定轮数，本例我们使用后者，设定轮数为100。学习率影响损失的收敛，是个经验值：太小则收敛慢，太大会发生反复震荡，本例学习率设为0.05
train_epochs=100
learning_rate=0.05
2. 定义损失函数
损失函数（loss function）用于描述预测值与真实值（标签）之间的误差。损失函数减小的方向就是模型收敛的方向。均方差（Mean Square Error, MSE）是最常见的损失函数之一，也称作函数
用代码实现均方差损失函数
def loss(x, y, w, b):
err = model(x, w, b)-y
squared_err = tf.square(err)
return tf.reduce_mean(squared_err)
其中，函数 tf.reduce_mean 可以直接计算数组里所有元素的平均值（输出一个数）。
3. 定义计算梯度
计算样本数据[x, y]在当前参数[w, b]点上的梯度
其中，即损失函数，
和
即损失函数对两个被训练参数
和
的梯度。
TensorFlow的上下文管理器tf.GradientTape()可以自动计算函数在某点出的梯度——第一个参数是模型函数loss，第二个参数是待优化变量组成的数组[w, b]，输出即为两个梯度值
def grad(x, y, w, b):
with tf.GradientTape() as tape:
loss_=loss(x,y,w,b)
grdt=tape.gradient(loss_, [w,b])
return grdt
4. 执行训练
更新被训练参数和
的算法如下
其中，即学习率。训练100轮的代码实现如下
plt.figure() #new blank figure
plt.scatter(x_data, y_data)
loss_list=[]
for epoch in range(train_epochs):
batch=np.random.randint(0, 100, 10) #随机生成0~99间的十个整数组成的数组
xs = x_data[batch]
ys = y_data[batch]
#record loss (not necessary)
loss_=loss(x_data,y_data,w,b)
loss_list.append(loss_.numpy())
delta_w, delta_b = grad(xs, ys, w, b)
change_w = delta_w * learning_rate
change_b = delta_b * learning_rate
w.assign_sub(change_w) # w -= change_w
b.assign_sub(change_b) # b -= change_b
plt.plot(x_data, w.numpy() * x_data + b.numpy()) #draw a line each epoch
注意这里使用了小批量梯度下降法（Mini-batch SGD）来训练，即每轮都从训练集随机抽取一定数量的样本参与计算（本例每轮抽10个）。这种方法既可以减少单样本SGD中杂乱样本的数量，效率也比全部样本都参与每轮计算要高。
每轮训练结果都在图中画出，最后输出结果为
可看到直线逐渐靠近散点的中轴。
5. 展示和分析结果
清晰起见，用如下代码输出最后的直线以及w和b的值
# show the final result
plt.figure() #new blank figure
plt.scatter(x_data, y_data)
plt.plot(x_data, w.numpy() * x_data + b.numpy())
print('final: w = %f, b = %f' %(w.numpy(), b.numpy()))
输出
final: w = 1.963482, b = 1.062568
接近我们的目标值w=2.0和b=1.0。
上述代码中，我们还设置了loss_list来记录每轮的损失值（对所有标签的），可以用如下代码可视化
plt.figure() #new blank figure
plt.plot(loss_list)
输出
可见损失值随训练逐渐减小直到趋于稳定，说明结果越来越能描述真实情况。
至此单变量线性方程训练示例结束。
附：完整代码
import matplotlib.pyplot as plt #载入matplotlib
import numpy as np #载入numpy
import tensorflow as tf #载入TensorFlow
print('Tensorflow version: ', tf.__version__)
np.random.seed(5) #设置随机种子
x_data = np.linspace(-1, 1, 100)
y_data = 2.0 * x_data + 1.0 +np.random.randn(*x_data.shape) * 0.4
plt.figure()
plt.scatter(x_data, y_data)
plt.plot(x_data, 2.0 * x_data + 1.0, color = 'red', linewidth = 3)
#构建回归模型
w = tf.Variable(1.0, name = 'w0')
b = tf.Variable(0.0, name = 'b0')
def model(x, w, b):
return tf.multiply(x, w) + b
#训练模型
train_epochs=100
learning_rate=0.05
def loss(x, y, w, b):
err = model(x, w, b)-y
squared_err = tf.square(err)
return tf.reduce_mean(squared_err)
def grad(x, y, w, b):
with tf.GradientTape() as tape:
loss_=loss(x,y,w,b)
grdt=tape.gradient(loss_,[w,b])
return grdt
#执行训练
plt.figure() #new blank figure
plt.scatter(x_data, y_data)
loss_list=[]
for epoch in range(train_epochs):
batch=np.random.randint(0, 100, 10) #随机生成0~99间的十个整数组成的数组
xs = x_data[batch]
ys = y_data[batch]
#record loss (not necessary)
loss_=loss(x_data,y_data,w,b)
loss_list.append(loss_.numpy())
delta_w, delta_b = grad(xs, ys, w, b)
change_w = delta_w * learning_rate
change_b = delta_b * learning_rate
w.assign_sub(change_w) # w -= change_w
b.assign_sub(change_b) # b -= change_b
plt.plot(x_data, w.numpy() * x_data + b.numpy()) #draw a line each epoch
# show the final result
plt.figure() #new blank figure
plt.scatter(x_data, y_data)
plt.plot(x_data, w.numpy() * x_data + b.numpy())
print('final: w = %f, b = %f' %(w.numpy(), b.numpy()))
# show the loss trend
plt.figure() #new blank figure
plt.plot(loss_list)
