sigmoid和softmax区别 在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差,是为什么?
浏览量:2078
时间:2021-03-13 11:24:53
作者:admin
在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差,是为什么?
LSTM中使用的所有Sigmoid都是门,其输出必须在0.1之间,所以relu不能确定
elliotsig也很难饱和。LSTM应该需要饱和门来记住或忘记信息。不饱和门会使过去和现在的记忆一直重叠,从而导致记忆混乱
线性激活函数的缺点是线性函数,数字的组合仍然是线性函数。
由于我们遇到的问题大多是非线性的,比较复杂,如果不使用激活函数来添加非线性,网络结构的表达能力就非常有限,相应的效果自然就差了。
卷积神经网络卷积层后一定要跟激活函数吗?
有毅力不难思考,有毅力不难思考,有毅力不难坚持!
sigmoid和softmax区别 神经网络sigmoid函数 sigmoid函数详解
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。