神经网络sigmoid函数 如何评价「神经网络本质不过是初中生都会的复合函数」？
如何评价「神经网络本质不过是初中生都会的复合函数」？
如果说本质是很简单的事情，至少听起来很简单。
计算机的本质只是门电路的开关，程序的本质只是01组合，火箭发射的本质只是轨道拟合，生命体的本质只是一堆蛋白质，思维的本质只是电信号，等等。如果追根溯源，人的本质就像一堆原子。
许多东西无法分解为可见，因为它们的价值就在组合的这一部分。神经网络的本质确实是一个复合函数，因为加权是乘法，偏移是加法，激活是函数运算。这些都很简单。即使外部激活函数稍微复杂一些，它仍然可以被写出来。但是，需要提出神经网络的反向传播，否则神经网络无法优化；全连通网络的参数个数过大，无法增加深度，因此需要提出CNN、RESNET、dropout、pool，并在此基础上实现它们的反向传播算法，这些理论是经过严格的数据逻辑验证后提出的。
当然，任何人都可以做复合功能，但他们做不到。最后两个月的课足够学习了，但是学习这些东西能提出神经网络的结构吗？你学完高等数学后能写一篇约洛吗？不要老是谈论精华。只有真正理解的人才有资格谈论本质。人们甚至不知道神经网络的本质。听起来像是土木科学说地球是平的。
神经网络relu怎么反向求导？
Relu是神经网络中的激活函数。
在神经网络从输入到输出的正向传播中，激活函数是不可避免的。因此，在反向传播调整过程中，还需要根据链导数规则调整relu的偏差或梯度。
在神经网络中，每两层神经元的权重根据梯度进行调整。梯度调整的幅度和方向取决于激活函数后前一层神经元的输入值a和激活函数前后一层神经元输出值的偏差。relu的逆导数是神经元输出的偏差（在进入激活函数之前）。relu的偏差请参考我的文章《BP反向传播算法的思考与直观理解——卷积小白的随机世界》
例如，当L1层的偏差为m时，则relu后的L层的偏差为m*Wij。如果此时，relu之前的l层的输出为Zi。如果Zi小于0。那么，L层神经元通过relu前的偏差为0；如果Zi大于0。那么，relu之前的L层的偏差是m*Wij。
神经网络sigmoid函数 神经网络激活函数的作用 卷积中的relu
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
