2016 - 2024

感恩一路有你

lstm神经网络适合做什么 从RNN到LSTM,性能良好的神经网络到底是如何工作的?

浏览量:2648 时间:2021-03-15 12:46:01 作者:admin

从RNN到LSTM,性能良好的神经网络到底是如何工作的?

RNN(递归神经网络),顾名思义,以先前的输出(隐藏状态)作为输入,形成一个循环。

(RNN扩展,图像源:colah.github.io文件)

上面的展开图清楚地显示了RNN的结构。不难发现RNN的结构与序列化数据是一致的。实际上,RNN实际上主要用于处理序列化数据。

基本上,不使用原始RNN,而是使用RNN的变体。

渐变裁剪可以缓解渐变爆炸,而RNN变体(如主流LSTM和Gru)可以缓解渐变消失。

(一般是sigmoid层)建模输入、输出和遗忘。

(图片来源:中新网/@左上角的蓝色是输入门,右上角的绿色是输出门,底部的红色是遗忘门。

是否存在通用的神经网络模型,可以处理图像,语音以及NLP?

对于目前的深度学习模型,虽然深度学习的目标之一是设计能够处理各种任务的算法,但是深度学习的应用还需要一定的专业化,目前还没有通用的神经网络处理模型。然而,每一种模式也在相互学习、相互融合、共同提高。例如,一些创新可以同时改进卷积神经网络和递归神经网络,如批量标准化和关注度。一般模型需要在将来提出。

图像和视频处理,计算机视觉,最流行的是CNN,卷积神经网络,它的变形和发展,CNN适合处理空间数据,广泛应用于计算机视觉领域。例如,alexnet、vggnet、googlenet、RESNET等都有自己的特点。将上述模型应用于图像分类识别中。在图像分割、目标检测等方面,提出了更有针对性的模型,并得到了广泛的应用。

语音处理,2012年之前,最先进的语音识别系统是隐马尔可夫模型(HMM)和高斯混合模型(GMM)的结合。目前最流行的是深度学习RNN递归神经网络,其长、短期记忆网络LSTM、Gru、双向RNN、层次RNN等。

除了传统的自然语言处理方法外,目前的自然语言处理深度学习模型也经历了几个发展阶段,如基于CNN的模型、基于RNN的模型、基于注意的模型、基于变压器的模型等。不同的任务场景有不同的模型和策略来解决一些问题。

lstm神经网络适合做什么 lstm适用于什么数据 双向lstm神经网络原理

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。