lstm的激活函数 在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？

在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差，是为什么？

LSTM中使用的所有Sigmoid都是门，其输出必须在0.1之间，所以relu不能确定

elliotsig也很难饱和。LSTM应该需要饱和门来记住或忘记信息。不饱和门会使过去和现在的记忆一直重叠，这会导致记忆混乱

rank（）有不连续的数字，如按1，2，2，3的值计算的数字，出现的次数是1，2，2，4密度例如，数据值1，2，2，3的个数是1，2，2，3

lstm的激活函数 lstm用什么损失函数 softmax交叉熵损失函数

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。