欠拟合与过拟合的概念 机器学习需要哪些数学基础？

机器学习需要哪些数学基础？

主要是线性代数和概率论。

现在最流行的机器学习模型，神经网络基本上有很多向量、矩阵、张量。从激活函数到损失函数，从反向传播到梯度下降，都是对这些向量、矩阵和张量的运算和操作。

其他“传统”机器学习算法也使用大量线性代数。例如，线性回归与线性代数密切相关。

从线性代数的观点来看，主成分分析是对协方差矩阵进行对角化。

尤其是当你读论文或想更深入的时候，概率论的知识是非常有用的。

它包括边缘概率、链式规则、期望、贝叶斯推理、最大似然、最大后验概率、自信息、香农熵、KL散度等。

神经网络非常讲究“可微性”，因为可微模型可以用梯度下降法优化。梯度下降和导数是分不开的。所以多元微积分也需要。另外，由于机器学习是以统计方法为基础的，因此统计知识是必不可少的。但是，大多数理工科专业学生都应该学过这两部分内容，所以这可能不属于需要补充的内容。

可以通过直接减少hidden layer、hidden unit而不是加正则化来解决神经网络过拟合吗？

简单的答案是肯定的。复杂的答案是不确定的（见下文）。

这个概念。

（图片作者：chabacano，许可证：CC by sa 4.0）

从图像中可以明显看出，过度拟合的曲线过于曲折（复杂），对现有数据拟合得非常好，但它不能很好地描述数据的规律，因此面对新数据，我们不得不停下来。

从上面我们得到一个直觉，过度拟合的模型往往比正确的模型更复杂。

。您所说的“直接减少隐藏层和隐藏单元的数量”使网络更薄、更窄正是简化模型的方法。这个想法没有问题。

但是，我们可能必须尝试找出它是否有效。因为，一般来说，更复杂的网络可能更有表现力。

一般来说，神经网络仍然是一个黑匣子。有时，正则化的效果更好，有时则不然。一些问题可能是复杂的网络工作得很好，另一些问题可能是深度和狭窄的网络工作得很好，另一些问题可能是薄而宽的网络工作得很好，或者一些问题可能是简单的网络工作得很好。

具体来说，为了解决过拟合问题，除了简化模型（即您称之为“直接减少隐藏层、隐藏层、隐藏层”）外，还存在漏项（在某种意义上，我们可以看到模型的某些部分由于简化模型的绕道而无法工作），以及人为增加稀疏性限制（稀疏性和简化之间存在模糊关系）或尽快停止训练。

欠拟合与过拟合的概念 sigmoid和softmax区别 过拟合产生的原因

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。