logistic回归梯度下降法 机器学习为什么会使用梯度下降法？

机器学习为什么会使用梯度下降法？

另外，在神经网络（非凸问题）的训练中，大多采用梯度下降法。梯度下降法和拟牛顿法可以用来训练logistic回归（凸问题）模型。

在机器学习任务中，必须最小化损失函数L（θ）Lleft（thetaright）L（θ），其中θthetaθ是要求解的模型参数。梯度下降法和牛顿/拟牛顿法都是迭代法。梯度下降法是梯度法，而牛顿法/拟牛顿法是由二阶Hessian矩阵的逆矩阵或伪逆矩阵求解的。

在机器学习的第一课中，没有逻辑回归的解析解（至少目前还没有找到，只有在二进制类的情况下，更不用说神经网络了）。

即使有解析解，KKT条件也只是优化非凸函数的必要条件和不充分条件，因为在大多数情况下，神经网络的损失函数是非凸的。

[1]最重要的是线性代数和概率论。

现在最流行的机器学习模型，神经网络基本上有很多向量、矩阵、张量。从激活函数到损失函数，从反向传播到梯度下降，都是对这些向量、矩阵和张量的运算和操作。

其他“传统”机器学习算法也使用大量线性代数。例如，线性回归与线性代数密切相关。

从代数的角度来看，协方差矩阵是对角化的。

尤其是当你读论文或想更深入的时候，概率论的知识是非常有用的。

它包括边缘概率、链式规则、期望、贝叶斯推理、最大似然、最大后验概率、自信息、香农熵、KL散度等。

神经网络非常讲究“可微性”，因为可微模型可以用梯度下降法优化。梯度下降和导数是分不开的。所以多元微积分也需要。另外，由于机器学习是以统计方法为基础的，因此统计知识是必不可少的。但是，大多数理工科专业学生都应该学过这两部分内容，所以这可能不属于需要补充的内容。

逻辑回归为何不直接让梯度等于0？

机器学习需要哪些数学基础？

1. 工业中的大型模型基本上都是logistic区域和线性区域，因此SGD和lbfgs的理解是非常重要的，并行推导对于理解LR是如何并行的是非常重要的

2。其次，常用的机器学习算法，如SVM、gbdt、KNN等，应该了解其原理，能够在压力下快速响应。算法的优缺点和适应场景应基本清晰

3基本算法应熟练掌握数据结构、链表二叉树、快速行合并、动态返回等

logistic回归梯度下降法 梯度下降算法推导 逻辑回归的梯度下降算法

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。