交互式阅读笔记 / OPTIMIZATION
从一个小步,理解梯度下降
想象你站在一条弯曲的山坡上。怎样只看脚下的坡度,就一步步走向低处?一个简单的二次函数,足够把这件事看清楚。
01找到下降的方向
梯度指向函数增长最快的方向。因此,想让损失变小,就应该沿着梯度的反方向移动。我们不需要先知道谷底在哪里,只需在每一步重新观察当前位置的坡度。
02步子该迈多大
方向正确,还不意味着每一步都合适。学习率 η 决定一次迈多远:太小走得慢,太大则可能跨过谷底。拖动滑块,看看从 x = 4 出发的下一步。
下一步: 4 − 0.25 × 8 = 2.00
03把理解留在原文
一个解释只有能重新找到,才真正属于这篇文章。发送问题后,正文旁会出现讨论标记;点一下,就能回到这句话和它的问答。
∎