RNN，循环神经网络，可以处理上下文关系的神经网络。
伪代码来自深度学习经典书《Python深度学习》
state_t = 0
for input_t in input_sequence:
output_t = f(input_t, state_t)
state_t = output_t
这个故事是这样的：
一个输入的序列，在序列模型下（比如CNN或者DNN串联那种），犹如通过了一个流水线的工厂，最后获得输出；
而RNN会将序列分解后进行遍历，之后当前元素的状态（权重与偏置）取决于上一个元素的状态（权重与偏置）。
更加具体的伪代码为：
state_t = 0
for input_t in input_sequence:
output_t = activation(dot(W, input_t) + dot(U, state_t) + b)
state_t = output_t
也就是，比如输入ABC，CNN或者DNN就会把这三个元素所转换为的张量一层一层的传播，而RNN就会把它分为A，B和C。设定一个初始状态，在训练A的时候采用初始状态，在训练B的时候考虑A的状态等等。
再上个图：
image.png
