曲線に最も近い比例直線(定積分と最小値の融合)

方針

解答

⓪ 発想 — どう考え始めるか。 $J(a)={\int }_0^1(e^x-ax{)}^{2}dx$ は、被積分関数を展開すると $a$ の2次式になる($a^2$、$a$、定数の項)。

だから $J(a)$ は $a$ の下に凸な2次関数。最小は $J^{\prime }(a)=0$、または平方完成で出る。

$a$ で微分すると $J^{\prime }(a)={\int }_0^{1}2(e^x-ax)(-x)dx=0$、整理して $a=\frac{{\int }_0^{1}x{e}^{x}dx}{{\int }_0^1{x}^{2}dx}$。積分は部分積分で計算する。

① $a$ の2次式に展開する。 $$J(a)={\int }_0^1(e^{2x}-2ax{e}^x+a^2{x}^2)dx=\underset{r}{\underbrace{{\int }_0^1{e}^{2x}dx}}-2a\underset{q}{\underbrace{{\int }_0^{1}x{e}^{x}dx}}+a^2\underset{p}{\underbrace{{\int }_0^1{x}^{2}dx}}.$$ ② 必要な積分を計算する。 $p={\int }_0^1{x}^{2}dx=\frac{1}{3}$。$q={\int }_0^{1}x{e}^{x}dx$ は部分積分で $$q=[x{e}^x{]}_0^1-{\int }_0^1{e}^{x}dx=e-[e^x{]}_0^1=e-(e-1)=1.$$

③ 2次関数を最小化する。 $J(a)=\frac{1}{3}{a}^2-2a+r$($r$ は定数)。$a$ で微分して $$J^{\prime }(a)=\frac{2}{3}a-2=0⟹a=3.$$ $J^{\prime \prime }(a)=\frac{2}{3}>0$ より下に凸だから、これが最小。

まとめ 定積分で定義された $J(a)$ は、展開すれば $a$ の2次関数。最小は $a=\frac{\int x{e}^x}{\int x^2}=\frac{1}{1/3}=3$。これは「曲線に最も近い直線 $y=3x$」を選ぶ最小二乗の考え方。積分(部分積分)・2次関数の最小・微分の融合。

発展 — 一歩先へ。 最良の $a=3$ での残差 $e^x-3x$ は $x$ と直交する(内積 $=0$)。これは関数を「$x$ 方向の成分」と「それに垂直な成分」に分解したときの正射影で、フーリエ級数(関数を $\sin ,\cos$ の直交基底で分解)や統計の最小二乗回帰と同じ原理。積分を内積とみなす見方は、関数解析への入り口である。

別解

別解 — 「残差が $x$ と直交」で正規方程式を読む(得意な人向けの高い視点)。 $J(a)={\int }_0^1(e^x-ax{)}^{2}dx$ は、関数 $e^x$ を「$x$ の定数倍 $ax$」で近似したときの、ずれ(残差)の2乗の総和だ。最小二乗法そのものである。

最小になる条件は、残差 $e^x-ax$ が近似に使った関数 $x$ と「直交」すること:

$${\int }_0^1(e^x-ax)\cdot xdx=0⟹{\int }_0^{1}x{e}^{x}dx=a{\int }_0^1{x}^{2}dx.$$

${\int }_0^{1}x{e}^{x}dx=1$(部分積分)、${\int }_0^1{x}^{2}dx=\frac{1}{3}$ だから $a=3$。

$J(a)$ を展開して微分する(本解)のと同じ式だが、「残差が近似関数と直交する点が最良」という幾何的な原理(正規方程式)で見ると、統計の回帰分析や関数の直交展開(フーリエ級数)と同じ発想だと分かる。積分は関数の“内積”なのだ。