lstm的作用 从RNN到LSTM,性能良好的神经网络到底是如何工作的?
浏览量:2342
时间:2021-03-11 15:02:55
作者:admin
从RNN到LSTM,性能良好的神经网络到底是如何工作的?
RNN(递归神经网络),顾名思义,以先前的输出(隐藏状态)作为输入,形成一个循环。
(RNN扩展,图像源:colah.github.io文件)
上面的展开图清楚地显示了RNN的结构。不难发现RNN的结构与序列化数据是一致的。实际上,RNN实际上主要用于处理序列化数据。
基本上,不使用原始RNN,而是使用RNN的变体。
渐变裁剪可以缓解渐变爆炸,而RNN变体(如主流LSTM和Gru)可以缓解渐变消失。
(一般是sigmoid层)建模输入、输出和遗忘。
(图片来源:中新网/@左上角的蓝色是输入门,右上角的绿色是输出门,底部的红色是遗忘门。
在训练LSTM的时候使用除了Tanh/Sigmoid以外的激活函数效果都很差,是为什么?
LSTM中使用的所有Sigmoid都是门,其输出必须在0.1之间,所以relu不能确定
elliotsig也很难饱和。LSTM应该需要饱和门来记住或忘记信息。不饱和门会使过去和现在的记忆一直重叠,从而导致记忆障碍
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。