课后问题

1. 前向传播和后向传播中 cache 的含义

对前向传播变量进行缓存：在计算反向传播时，前向传播过程中得到的一些中间变量非常有用。在实际操作中，最好代码实现对于这些中间变量的缓存，这样在反向传播的时候也能用上它们。如果这样做过于困难，也可以（但是浪费计算资源）重新计算它们。

CS231n课程笔记翻译：反向传播笔记

2. 什么是 hyperparameters 超参数
   个人感觉就是通过参数直接设置并且不会变的参数，影响计算结果，并不会因为训练集发生变化的参数
3. 下面这句是正确的

There are certain functions with the following properties:

(i) To compute the function using a shallow network circuit, you will need a large network (where we measure size by the number of logic gates in the network), but (ii) To compute it using a deep network circuit, you need only an exponentially smaller network. 

4. Forward propagation propagates the input through the layers, although for shallow networks we may just write all the lines (a[2]=g2, z[2]=W[2]a[1]+b[2], ...) in a deeper network, we cannot avoid a for loop iterating over the layers: (a[l]=gl, $$z^{[l]} = W^{[l]}a{[l-1]} + b^{[l]}, ...).