如果你使用一个简单的逻辑回归，那么进行随机初始化，或者直接吧所有的权重矩阵置为0那是没有问题的。
但是对于神经网络来说，如果都置为0那么将是不能接受的。
这是因为，如果你的w全是相同的0，那么对于隐层的每个神经单元来说，他们都是计算结果相同的，那么最后输出y hat 后进行反向传播的时候，dz也是一样的。
相当于一个对称的结构了。
正确的随机初始化形式应该是，np.random.randn((i,k))*0.01后面乘以一个很小的数很重要。我们希望随机初始化的数字非常小，但绝不能为0，这样经过激活函数（这里面用tanh）后，会得到一个正常的值，如果w很大，那么z=wx+b这个形式，会落在函数的两端，这样产生的后果就是梯度非常小，如果层比较深，那么梯度下降就非常慢，这样就会让学习很慢。
神经网络和深度学习-3.3随机初始化
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 改进神经网络的学习方法（下） 权重初始化 创建了神经网络后，我们需要进行权重和偏差的初始化。到现在，我们一直是根据...
- Neil Zhu，简书ID Not_GOD，University AI 创始人 & Chief Scientist...
- *** 代码部分可以直接通过Jupyter Notebook来查看 这几天在上Andrew Ng教授开的Cours...
- 双门洞大人小孩都害怕的小恶魔是谁？ 看过《请回答1988》的人都知道。 成宝拉——成家大女儿，首尔大学的高材生。 ...
