简述神经网络是如何训练的 用同一数据集训练神经网络，每次训练结果不一样，有时正确率很高，有时很低，为什么？

用同一数据集训练神经网络，每次训练结果不一样，有时正确率很高，有时很低，为什么？

其实这个问题本质就是，如果我们使用机器学习算法在数据集上训练一次数据模型，保存模型，然后使用相同的算法和相同的数据集和数据排序再次训练它，第一个模型是否与第二个模型相同？

这可能是因为在神经网络使用增益或权重的随机值进行初始化，然后在训练阶段每个模拟都有不同的起点。 如果想要始终保持相同的初始权重，可尝试为初始权重固定种子，即可消除该问题。

如果我们深入研究这个问题，我们可以从它们的“确定性”对ML算法进行分类，当从同一数据集训练时：

• 一类是始终产生相同模型，并且记录以相同顺序呈现；

• 二类是始终产生不一样模型，并且记录顺序不同。

在实际情况中，一般情况下是“不确定性”居多，产生模型变化的原因可能是在机器学习算法本身中可能存在随机游走，权重随机初始化不同，或概率分布的采样以分配优化函数的分量不同。

虽然模型“不确定性”可能对单次训练结果造成干扰，但我们也可以利用该“不确定性”来确认模型的稳定性，例如决策树、支持向量机（SVM）、神经网络等，可通过多次迭代来最终确认模型的稳定性。

深度学习和普通的机器学习有什么区别？

放张图可以看出关系。机器学习是人工智能的重要区域之一，深度学习是机器学习的分流之一。深度学习在前几年迅速蹿红的原因是突破了一些传统机器学习解决不了的问题。

机器学习的意义在于代替人力完成重复的工作，识别出统一的规律（模式）。但对于传统的机器学习来说，特征的提取难度并不小（特征可以是像素、位置、方向等等）。特征的准确度会很大程度决定大多数机器学习算法的性能，为了使特征准确，将涉及到大量的人力投入特征工程的部分，来对特征进行调整改善。而这一系列工作的完成，是在数据集所含有的信息量足够并且易于识别这一前提下的，如果这一前提没有满足，传统机器学习算法会在杂乱的信息中丧失性能。深度学习的应用便是基于这一问题产生的，它的深层神经网络让它可以在杂乱中学习，自动发现任务所联系的特征（可以把它看成自发地学习特征工程），提取高层次的特征，因而大大减少了任务中在特征工程部份所要耗费的时间。

另一明显的不同之处是二者对数据集大小的偏好。传统的机器学习在制定完善的规则下，在处理较小规模的数据时，会展示出很好的性能，深度学习反而表现不佳；随着数据集的规模不断变大，深度学习的性能才会逐渐展现出来，并且越来越优良，对比可见下图。

如何估算神经网络的最优学习率？

神经网络的神奇之处就是通过训练自动学习权重等参数。其中，学习率决定了这个自动学习的快慢，是神经网络的超参数（hyperparameter）。

具体而言，目前主流的神经网络模型使用梯度下降算法进行训练，或者说，学习参数。学习率决定了batch中权重在梯度方向上移动多远。理论上说，学习率越高，神经网络学习的速度就越快。但是，学习率过高，可能一下子“跨过”损失函数的最小值，导致无法收敛。

上图左侧为高学习率，右侧为低学习率，图片来源：Mikkel Duif (Quora)

那么，如何找到最佳学习率呢？

最容易想到的方法是，先从一个较高的学习率开始尝试，然后逐渐降低学习率。比如，刚开始是0.1，接着是0.01，然后是0.001，再然后是0.0001，以此类推。因为一般而言，刚开始的时候，网络的初始权重离最佳权重会比较远，随着训练的进行，渐渐逼近最佳值。用术语来说，这是模拟退火（Simulated annealing）方法。不过，这个方法的初始学习率设置（上面例子中的0.1）不能过高，如果初始学习率过高，那可能一下子“跨过”最佳值。

除此之外，还有另一种思路，就是反向操作，从一个很低的学习率开始，然后在每一个batch后增加学习率。比如，从0.00001开始，到0.0001，再到0.001，接着是0.01，然后是0.1。这种思路背后的直觉是，如果我们始终用一个很低的学习率进行学习，那么我们最终总能学习到权重的最佳值（除非整个网络架构有问题），只不过会很慢而已。因此，先从很低的学习率开始，能确定地观察到损失函数的下降。然后逐渐放大学习率，直到学习率过高导致发散。这个方法也避免了上面那个方法初始学习率过高一下子“跨过”最佳值的隐患。这是Leslie N. Smith在2015年的论文《Cyclical Learning Rates for Training Neural Networks》中提出的方法。

简述神经网络是如何训练的 神经网络流程 设计神经网络的训练过程

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。