放物線を最もよく近似する直線(最小二乗)

方針

解答

⓪ 発想 — どう考え始めるか。 放物線 $y=x^2$ を、直線 $y=ax+b$ で区間 $[0,1]$ 上「最もよく近似」する問題(最小二乗)だ。

$J$ を展開すれば $a,b$ の2次式になる。だから各文字で平方完成すれば解ける。ただ、同じことを「残差の2乗和が最小 ⟺ 残差が、近似に使った関数($x$ と定数 $1$)に直交する」と見ると、連立が一気に立つ。

① 直交条件を書く。 ${\int }_0^1{x}^{k}dx=\frac{1}{k+1}$ を使う。

$${\int }_0^1(x^2-ax-b)dx=\frac{1}{3}-\frac{a}{2}-b=0$$ $${\int }_0^1(x^2-ax-b)xdx=\frac{1}{4}-\frac{a}{3}-\frac{b}{2}=0$$

② 連立を解く。 上の式から $b=\frac{1}{3}-\frac{a}{2}$。下に代入すると $\frac{1}{4}-\frac{a}{3}-\frac{1}{2}\left(\frac{1}{3}-\frac{a}{2}\right)=\frac{1}{12}-\frac{a}{12}=0$。よって $a=1$、$b=\frac{1}{3}-\frac{1}{2}=-\frac{1}{6}$。

③ 最小値を求める。 残差は近似 $ax+b$ に直交するから、$J_{\min }={\int }_0^1{x}^2(x^2-x+\frac{1}{6})dx=\frac{1}{5}-\frac{1}{4}+\frac{1}{18}=\frac{36-45+10}{180}=\frac{1}{180}$。

まとめ: $J$ の最小化は「残差が $x$ と $1$ に直交」、つまり $\int (\text{残差})dx=\int (\text{残差})xdx=0$ の連立に化ける。最小値は $\int (\text{残差})\cdot x^2$ だけで出る(残差 ⊥ $ax+b$ だから)。2次関数と定積分の融合だ。

発展 — 一歩先へ。 「残差を、使った関数たちに直交させる」のは最小二乗法の一般原理で、データの分析で学ぶ回帰直線とまったく同じ心臓部だ(和が積分に変わっただけ)。近似に使う関数を増やしても、直交条件を並べるだけで最良近似が求まる。

別解

平方完成だけで押し切る(2次関数の心臓部ルート)。 直交という言葉を使わなくても、$J$ は $a,b$ の2次式だから、平方完成の腕力で最小化できる。

展開する(${\int }_0^1{x}^{k}dx=\frac{1}{k+1}$ を各項に使う):

$$J=\frac{1}{5}-\frac{a}{2}-\frac{2b}{3}+\frac{a^2}{3}+ab+b^2$$

まず $b$ について平方完成:

$$J={\left(b+\frac{a}{2}-\frac{1}{3}\right)}^2+\frac{a^2}{12}-\frac{a}{6}+\frac{4}{45}$$

残った $a$ の部分も平方完成:

$$J={\left(b+\frac{a}{2}-\frac{1}{3}\right)}^2+\frac{1}{12}(a-1{)}^2+\frac{1}{180}$$

2つの平方は $a=1,b=\frac{1}{3}-\frac{1}{2}=-\frac{1}{6}$ で同時に0にできる。よって最小値 $\frac{1}{180}$。

積分は最初の展開の1回だけ。あとは数Iの平方完成そのものだ。最小値 $\frac{1}{180}$ が式の定数項として直接目に見えるのが、このルートの気持ちよさである。