课后问题
- 前向传播和后向传播中 cache 的含义
对前向传播变量进行缓存：在计算反向传播时，前向传播过程中得到的一些中间变量非常有用。在实际操作中，最好代码实现对于这些中间变量的缓存，这样在反向传播的时候也能用上它们。如果这样做过于困难，也可以（但是浪费计算资源）重新计算它们。
- 什么是 hyperparameters 超参数
个人感觉就是通过参数直接设置并且不会变的参数，影响计算结果，并不会因为训练集发生变化的参数 - 下面这句是正确的
There are certain functions with the following properties:
(i) To compute the function using a shallow network circuit, you will need a large network (where we measure size by the number of logic gates in the network), but (ii) To compute it using a deep network circuit, you need only an exponentially smaller network.
