diff --git a/Deep Learning/10. Neural Network/README.md b/Deep Learning/10. Neural Network/README.md index 9644f50..ff31279 100644 --- a/Deep Learning/10. Neural Network/README.md +++ b/Deep Learning/10. Neural Network/README.md @@ -185,7 +185,7 @@ 2. 可微性: 当优化方法是基于梯度的时候,就体现了该性质; 3. 单调性: 当激活函数是单调的时候,单层网络能够保证是凸函数; 4. ![](http://wx1.sinaimg.cn/mw690/00630Defgy1g5nmaak1f3j302x0120si.jpg): 当激活函数满足这个性质的时候,如果参数的初始化是随机的较小值,那么神经网络的训练将会很高效;如果不满足这个性质,那么就需要详细地去设置初始值; -5. 输出值的范围: 当激活函数输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是无限的时候,模型的训练会更加高效,不过在这种情况小,一般需要更小的 Learning Rate。 +5. 输出值的范围: 当激活函数输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是无限的时候,模型的训练会更加高效,不过在这种情况下,一般需要更小的 Learning Rate。 ### 3.4 正向传播