梯度爆炸和梯度消失的原因 从RNN到LSTM，性能良好的神经网络到底是如何工作的？

从RNN到LSTM，性能良好的神经网络到底是如何工作的？

RNN（递归神经网络），顾名思义，以先前的输出（隐藏状态）作为输入，形成一个循环。

（RNN扩展，图像源：colah.github.io文件)

上面的展开图清楚地显示了RNN的结构。不难发现RNN的结构与序列化数据是一致的。实际上，RNN实际上主要用于处理序列化数据。

基本上，不使用原始RNN，而是使用RNN的变体。

rnu的梯度和梯度可以通过Gru的梯度和梯度来减轻。

（一般是sigmoid层）建模输入、输出和遗忘。

（图片来源：中新网/@左上角的蓝色是输入门，右上角的绿色是输出门，底部的红色是遗忘门。

是否存在通用的神经网络模型，可以处理图像，语音以及NLP？

对于目前的深度学习模型，虽然深度学习的目标之一是设计能够处理各种任务的算法，但是深度学习的应用还需要一定的专业化，目前还没有通用的神经网络处理模型。然而，每一种模式也在相互学习、相互融合、共同提高。例如，一些创新可以同时改进卷积神经网络和递归神经网络，如批量标准化和关注度。一般模型需要在将来提出。

图像和视频处理，计算机视觉，最流行的是CNN，卷积神经网络，它的变形和发展，CNN适合处理空间数据，广泛应用于计算机视觉领域。例如，alexnet、vggnet、googlenet、RESNET等都有自己的特点。将上述模型应用于图像分类识别中。在图像分割、目标检测等方面，提出了更有针对性的模型，并得到了广泛的应用。

语音处理，2012年之前，最先进的语音识别系统是隐马尔可夫模型（HMM）和高斯混合模型（GMM）的结合。目前最流行的是深度学习RNN递归神经网络，其长、短期记忆网络LSTM、Gru、双向RNN、层次RNN等。

除了传统的自然语言处理方法外，目前的自然语言处理深度学习模型也经历了几个发展阶段，如基于CNN的模型、基于RNN的模型、基于注意的模型、基于变压器的模型等。不同的任务场景有不同的模型和策略来解决一些问题。

人脑是怎么防止梯度消失和梯度爆炸的？

大脑中有近900亿个神经元。如此庞大的网络如何防止梯度消失和梯度爆炸？我认为，因为大脑不能一次激活所有的神经元，所以它把结果储存在远离大脑的地方。

人脑是如何工作的？

你给大脑一个图像，同时激活整个大脑吗？显然不是。大脑被分割了。然而，在遥远的地方存储信息只是人脑算法的一小部分，这与动物和人类惊人的识别能力无关。我认为更多的是关于短期记忆的储存（在它变成长期记忆之前）。

现在人们普遍认为人脑没有DNN这样的梯度返回机制。。。对生物学稍有了解就会发现神经元的传递是单向的。但是我们能有两个神经元，一个前馈一个反馈吗？目前的研究还没有发现。。。一般认为这一环节是一个循环结构（RNN）。其次，新生动物的比率可能不需要学习掌握很多基本的信息处理能力。例如，牛、羊和马生来就是要走路的。结果表明，它们的基因是预先编程的，具有一些基本的能力，如行走、运动和视觉，这是我们通过反向传播训练模型实现的。人类出生的原因看不清楚。现有的解释是，人类在出生时并没有完全发育，否则婴儿的头太大，无法顺利分娩。然而，大脑中肯定有一种机制来返回错误并改变突触重量。

为什么现在人工智能这么热，是因为某个技术获得突破性进展了吗？

不仅仅是AI现在如此火爆，历史上也曾一度火爆。

人们总是高估短时间内能取得的成就，却低估了长时间内能取得的成就。这是人类社会的本性，而且一直如此。1956年达特茅斯会议提出了人工智能的概念。当时，科学家们信心满满，希望让人工智能在十年内解决人类智能能够解决的问题。当时的一位大牛认为，让机器看到和理解事物是一项非常简单的任务，让他的博士生在一个月内解决机器视觉的问题。当然，我们知道，这个问题到现在还没有解决。

人工智能是一个极其重要的领域。正因为如此，人们对它的看法总是徘徊在几个极端之间。上世纪60年代，人们对解决自然语言问题充满了热情，希望用几年时间创造出一个通用的翻译器，让人们相互理解，让巴别塔不再是废墟。但在投入了大量人力物力后，研究人员却一败涂地。于是，人工智能的热潮迅速退去。在接下来的十年里，整个领域变得悲观起来，持续了十多年的“人工智能之冬”开始了。

然而，许多研究人员仍在研究它——毕竟，人工智能太有吸引力了。20世纪90年代以来，一些新的思想被应用，人工智能领域逐渐活跃起来。但最大的变化应该是2006年提出的“深度学习”方法。该方法以神经网络为基础，模拟人脑的学习方法，构造多层机器学习模型。

最重要的是，这种方法具有很强的通用性，使机器能够“学习”如何理解现实世界中的对象。因此，人们在图像识别、机器翻译、作文、写作等领域进行了深入的学习尝试，其中自然语言处理有着良好的发展势头。

如果在人工智能的发展中有任何突破性的技术，深度学习应该是其中之一。然而，这一领域的普及不仅仅是由深度学习推动的，计算机工具的普及、计算能力的提高和互联网的发展都是促成当今人工智能发展的重要因素。

如果你是一个面试者，怎么判断一个面试官的机器学习水平？

梯度爆炸和梯度消失的原因 梯度消失怎么解决 lstm如何解决梯度消失

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。