lstm的激活函数 在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差,是为什么?
浏览量:1658
时间:2021-03-18 05:48:13
作者:admin
在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差,是为什么?
LSTM中使用的所有Sigmoid都是门,其输出必须在0.1之间,所以relu不能确定
elliotsig也很难饱和。LSTM应该需要饱和门来记住或忘记信息。不饱和门会使过去和现在的记忆一直重叠,这会导致记忆混乱
rank()有不连续的数字,如按1,2,2,3的值计算的数字,出现的次数是1,2,2,4密度例如,数据值1,2,2,3的个数是1,2,2,3
lstm的激活函数 lstm用什么损失函数 softmax交叉熵损失函数
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。