首先，我們所求的答案并不一定是最優答案（最值），而通常是相對最優答案（極值）。拿周志華機器學習中的例子來說，當你站在山坡的某個位置時，只看你當前位置朝哪個方向走下山最快（即求導的過程），然后朝那個方向邁出一步（即更新權重的過程），之后繼續看朝哪個方向走下山最快，再繼續邁出一步（反復迭代）。也許，你會走到真正的山底（最值），也許你遇到某個坑就停下了（極值）。而針對極值，如果想要跳出，就涉及后面的優化算法了。

它本質上用到的是梯度迭代算法。你可以去看看周志華的機器學習