激活函数的作用 为什么要使用relu激活函数?
浏览量:1617
时间:2021-03-17 11:27:09
作者:admin
为什么要使用relu激活函数?
增加了网络的非线性能力,以适应更多的非线性过程。在一定程度上,relu可以防止梯度的消失,但这并不是使用它的主要原因。主要原因是很容易找到导数。在一定程度上,这意味着右端不会接近饱和。当我们计算导数时,导数不会为零,所以梯度不会消失。但是左端问题仍然存在,如果我们掉进去梯度就会消失。所以有很多改进的relu。
卷积神经网络卷积层后一定要跟激活函数吗?
线性激活函数的缺点是线性函数的组合仍然是线性的。
由于我们遇到的问题大多是非线性的,比较复杂,如果不使用激活函数来添加非线性,网络结构的表达能力就非常有限,相应的效果自然就差了。
在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差,是为什么?
LSTM中使用的所有sigmoid都是门,它们的输出必须在0.1之间,所以relu不能确定
elliotsig也很难饱和。LSTM应该需要饱和门来记住或忘记信息。不饱和的闸门会使过去和现在的记忆一直重叠,这会造成记忆障碍
思考和毅力并不难,但坚持是很难的!
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
上一篇
取标题的技巧 如何取一个好的标题