• 2022年10月7日
• 统计, 机器学习
• 阅读时间 4 分钟

梯度下降法及其 Python 实现

用数值近似法求函数在某点的梯度，用回溯线搜索法控制步长，应用梯度下降法求函数极值。

梯度下降的思想是：对某一初始值，不断改变这一初始值，且每一步都朝着能使函数值减小的方向改变，最终函数值几乎不再变小，我们就认为达到了极小值点。