前進差分近似と中心差分近似の誤差

ゼロから作るディープラーニング3-フレームワーク編にて「前進差分近似に比べて、中心差分近似のほうが真の微分値に近い」と参考文献とともに紹介されていたのでこちらを参考に誤差がどれほどなのか確かめてみます。

式

前進差分近似

$$
f'(x) = \frac{f(x + h) – f(x)}{h}
$$

中心差分近似

$$
f'(x) = \frac{f(x + h) – f(x – h)}{2h}
$$

前進差分近似は求めたい微分点とそこから微小量増加させた点、2点を結んだ直線の傾き

中心差分近似は求めたい微分点を中点として微小増加、微小減少させた2点を結んだ直線の傾きになってます。

無限回微分可能な関数のある一点にて、導関数たちの値から計算される項の無限和として関数を表せる。そのような級数を得ることをテイラー展開という。

$$
\begin{align}
f(x) &= f(a) + f'(a)(x – a) + \frac{f^2(a)}{2!}(x – a)^2 + … + \frac{f^{(n)}(a)}{n!}(x – a)^n + … \\
\end{align}
$$

これを$f(x)$の$x=a$まわりでのテイラー展開という。

今回はこの$x – a$の部分がずれなのでこれを$h$とおくと、$h = x – a$、$x = a + h$

$$
\begin{align}
f(a + h) &= f(a) + f'(a)h + \frac{f^2(a)}{2!}h^2 + … + \frac{f^{(n)}(a)}{n!}h^n + … \\
\end{align}
$$

なぜこれが成り立つかはここでは略

テイラー展開の式を見ると$f(x)$の微分項があるのがわかるため、$f'(x)$が左辺に来るように移行してみる。いったん簡単のため

$$
f(x + h) = f(x) + hf'(x)+\frac{h^2}{2}f^2(c)
$$

として2階微分の項としてまとめます。

$$
\begin{align}
f'(x) &= \frac{f(x + h) – f(x)}{h} – \frac{h}{2}f^2(c) \\
\\
&x \le c \le x + h
\end{align}
$$

この第一項はまさに前進差分近似の値に一致しています。すなわち真の値（正確にはテイラー展開した式の値）と前進差分近似の誤差は$\frac{h}{2}f^2(c)$となることがわかります。

続いて中心差分近似です。今度は$f(x + h)$と$f(x – h)$のテイラー展開を行います。さらに今回は3階微分までのテイラー展開を行います。

$$
\begin{align}
f(x + h) &= f(x) + hf'(x)+\frac{h^2}{2}f^2(x) + \frac{h^3}{3!}f^3(c_1) \\
\\
&x \le c_1 \le x + h
\end{align}
$$

$$
\begin{align}
f(x – h) &= f(x) – hf'(x)+\frac{h^2}{2}f^2(x) – \frac{h^3}{3!}f^3(c_2) \\
\\
&x – h \le c_2 \le x
\end{align}
$$

この2式の差を取ると

$$
f(x + h) – f(x – h) = 2hf'(x) + \frac{h^3}{3!}(f^3(c_1) + f^3(c_2))
$$

前進差分近似と同様$f'(x)=$の形にします。

$$
f'(x) = \frac{f(x + h) – f(x – h)}{2h} – \frac{h^2}{3!}\frac{f^3(c_1) + f^3(c_2)}{2}
$$

と変形できるのでまたしてもこの右辺の第一項は中心差分近似の形になっています。

中心差分近似とテイラー展開を用いた場合の$f'(x)$の誤差は$\frac{h^2}{3!}\frac{f^3(c_1) + f^3(c_2)}{2}$です。

さきほどの式変形から前進差分近似と中心差分近似がテイラー展開から求まる$f'(x)$とどれだけの差があるかを見ました。改めてみると

前進差分近似の場合

$$
\frac{h}{2}f”(c)
$$

中心差分近似の場合

$$
\frac{h^2}{3!}\frac{f^3(c_1) + f^3(c_2)}{2}
$$

今回$h$は微小量であるため$h^2 << h$であることがわかります。つまり中心差分近似を用いた場合のほうが誤差が小さくなり、より真の値に近い値を求められます。

とてもちゃんとした証明とは言えないものではありますが、中心差分近似が前進差分近似よりも真の微分値に近いことが分かると思います。

書籍

参考論文