keras自定义损失函数 在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？

在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？

查了下网上的相关资料和信息，LSTM 只能用 Tanh /Sigmoid，这是因为 gate 的开关只能是开和关，就是记住跟忘记，添加记忆跟不添加记忆，LSTM里使用的Sigmoid的地方都是门，它的输出必须在0.1之间，所以relu肯定不行的

elliotsig这个也很难饱和的，LSTM应该需要饱和的门来记住或忘记信息，不饱和的门会使得以前和现在的记忆一直在重复叠加，那样就会造成记忆错乱

为什么要使用relu激活函数？

增加网络的非线性能力，从而拟合更多的非线性过程。ReLU在一定程度上能够防止梯度消失，但防止梯度消失不是用它的主要原因，主要原因是求导数简单。一定程度是指，右端的不会趋近于饱和，求导数时，导数不为零，从而梯度不消失，但左端问题依然存在，一样掉进去梯度也会消失。所以出现很多改进的ReLU。

keras自定义损失函数 reshape函数的用法 keras怎样自定义损失函数

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。