正则化的通俗解释 机器学习中使用“正则化来防止过拟合“到底是一个什么原理？

机器学习中使用“正则化来防止过拟合“到底是一个什么原理？

说白了，正则化就是给原来的极值函数增加不确定性，也就是说，你不能满足你给出的所有数据集。那对你的健康有害。我会添加一些随机性和惩罚因素，让你保留一些。

可以通过直接减少hidden layer、hidden unit而不是加正则化来解决神经网络过拟合吗？

简单的答案是肯定的。复杂的答案是不确定的（见下文）。

这个概念。

（图片作者：chabacano，许可证：CC by sa 4.0）

从图像中可以明显看出，过度拟合的曲线过于曲折（复杂），对现有数据拟合得非常好，但它不能很好地描述数据的规律，因此面对新数据，我们不得不停下来。

从上面我们得到一个直觉，过度拟合的模型往往比正确的模型更复杂。

。您所说的“直接减少隐藏层和隐藏单元的数量”使网络更薄、更窄正是简化模型的方法。这个想法没有问题。

但是，我们可能必须尝试找出它是否有效。因为，一般来说，更复杂的网络可能更有表现力。

一般来说，神经网络仍然是一个黑匣子。有时，正则化的效果更好，有时则不然。一些问题可能是复杂的网络工作得很好，另一些问题可能是深度和狭窄的网络工作得很好，另一些问题可能是薄而宽的网络工作得很好，或者一些问题可能是简单的网络工作得很好。

具体来说，为了解决过拟合问题，除了简化模型（即您称之为“直接减少隐藏层、隐藏层、隐藏层”）外，还存在漏项（在某种意义上，我们可以看到模型的某些部分由于简化模型的绕道而无法工作），以及人为增加稀疏性限制（稀疏性和简化之间存在模糊关系）或尽快停止训练。

机器学习中常常提到的正则化到底是什么意思？

简而言之，机器学习就是根据样本数据训练一个模型，然后用这个模型来计算测试数据的输出值。由于样本数据存在一定的误差，训练后的模型容易出现“过拟合”（即模型与样本数据几乎匹配，但不是实际模型）。正则化是为了解决“过拟合”问题，使模型更接近实际情况，防止被错误的样本数据“偏误”。

在上图中，图1拟合不足（通常是因为样本数据太少），图2拟合过度。该模型虽然与样本数据完全吻合，但过于复杂和陌生，明显脱离实际。图3是添加正则化后接近真实模型的结果。

请教大牛神经网络的过拟合问题？

你的问题很模糊。你想知道神经网络的过拟合是什么样的吗？为什么会有过拟合。对于第一个问题，神经网络的过拟合类似于支持向量机、高斯混合模型等建模方法的过拟合，说明训练数据集的建模效果很好，而测试数据集的建模效果很差，由于强学习能力是预测模型中的噪声会湮灭有用信息，导致泛化能力差。对于第二个问题，产生上述现象的主要原因是隐层节点过多（隐层节点越多，学习能力越强），这使得预测模型在训练过程中挖掘训练数据集中的噪声，即噪声会湮灭有用信息。因此，在使用神经网络建模时，必须处理模型过拟合的问题。一方面，我们可以增加样本数据集，另一方面，我们可以使用交叉验证来选择适当数量的隐层节点，在精度和泛化能力之间做出权衡。最常用的方法是加入正则化项，在一定程度上可以防止模型过拟合的问题。（机器学习算法和python学习）

正则化的通俗解释 l1正则化和l2正则化 为什么过拟合不可避免

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。