深度学习 梯度下降法的步长到底怎么确定？

梯度下降法的步长到底怎么确定？

梯度下降法的搜索方向，顾名思义就是梯度方向，即当前点所在地形的最陡下降方向（图片中只有两个方向）。步长的选择取决于函数的性质。一般来说，只要步长足够小，函数的值就不会每次都增加。另外，如果函数是可微的，且函数的梯度满足Lipschitz连续性（常数为L），如果步长小于，则每次迭代的函数值都不会增加，收敛到梯度为0的点。也可以使用linesearch来确定步长。实际上，linesearch的基本目的是确保函数的值减少（或不增加）。

2.2. 如果函数是凸的，它最终会达到最佳。

梯度下降法和随机梯度下降法的区别？

梯度下降算法是一个宽泛的概念，意思是：当你优化一个函数/分类器时，如何减少它的误差？你不妨选择梯度下降的方向，这很可能是最好的方向。既然你知道方向是梯度，你要走多久？答案是：随机的。因此，梯度下降算法包括随机梯度下降算法。

深度学习 通俗理解梯度下降法 梯度下降法原理和步骤

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。