牛頓法與線性逼近

面對求解方程式$f(x)=0$時。 假如$f$是線性的，那麼其實我們的問題會非常單純。

若我們知道$f(x_0) = y_0$, 其中$y_0 \ne 0$。 令我們要求的解$a$滿足$f(a)=0$，則我們可以知道存在一個$m$使得$m(a - x_0) = -y_0$經由移項可得我們的解 $a = x_0 - \dfrac{y_0}{m}$。

其中$m$我們是知道的，即$f'(x)=m$對所有的$x$。

然而現實是，我們的$f$幾乎不會是線性的。 但若是$f$的性質不錯，例如擁有連續的性質，那麼我們可以知道$f$在局部的情況下不會差異過大。

這個特性我們可以從泰勒展開式得到： 因為若$f$是連續的，則我們有$f(x+h) = f(x) + h f'(x) + O(h^2)$。 當$h$接近$0$時，$O(h^2)$項過小可以省略（或是我們可以由$h$的大小來預估這個式子的誤差）。

故若我們給定的初始值$x_0$夠接近於$a$（即$a$在$x_0$之附近），且$f(a)=0$。那麼我們取$h=a-x_0$，可知

$0=f(a) = f(x_0+h) \approx f(x_0) - (a-x_0) f'(x_0) \ \ \ \ \cdots(1)$

故移項可得$a \approx x_0 - \dfrac{f(x_0)}{f'(x_0)}$。

然而由於式子$(1)$畢竟只是逼近，無法得到真正的解$a$，但將我們算出來的$\tilde a$（有誤差的$a$）當作下一次的初始值，再經由式子$(1)$的計算。 不停重複這個過程，我們就可以逼近真正的解$a$。