excel函数公式大全 在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？

在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？

LSTM中使用的所有Sigmoid都是门，其输出必须在0.1之间，所以relu无法做到这一点

elliotsig也很难饱和。LSTM应该需要饱和门来记住或忘记信息。不饱和门会使过去和现在的记忆一直重叠，这会导致记忆障碍

如果本质很简单，至少听起来很简单。

计算机的本质只是门电路的开关，程序的本质只是01组合，火箭发射的本质只是轨道拟合，生命体的本质只是一堆蛋白质，思维的本质只是电信号，等等。如果追根溯源，人的本质就像一堆原子。

许多东西无法分解为可见，因为它们的价值就在组合的这一部分。神经网络的本质确实是一个复合函数，因为加权是乘法，偏移是加法，激活是函数运算。这些都很简单。即使外部激活函数稍微复杂一些，它仍然可以被写出来。但是，需要提出神经网络的反向传播，否则神经网络无法优化；全连通网络的参数个数过大，无法增加深度，因此需要提出CNN、RESNET、dropout、pool，并在此基础上实现它们的反向传播算法，这些理论是经过严格的数据逻辑验证后提出的。

当然，任何人都可以做复合功能，但他们做不到。最后两个月的课足够学习了，但是学习这些东西能提出神经网络的结构吗？你学完高等数学后能写一篇约洛吗？不要老是谈论精华。只有真正理解的人才有资格谈论本质。人们甚至不知道神经网络的本质。听起来像是土木科学说地球是平的。

excel函数公式大全 三角函数公式大全 一次函数的图像和性质

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。