偏差の2乗和を最小にする値は平均

方針

解答

⓪ 発想 — どう考え始めるか。 $f(a)=\sum (x_i-a{)}^2$ を $a$ の関数とみる。各項が $a$ の$2$次だから、$f(a)$ 全体も $a$ の$2$次関数(下に凸)。

展開すると $f(a)=\sum x_i^2-2a\sum x_i+n{a}^2$。$\sum x_i=n\bar{x}$ を代入して $a$ について整理する。

$n{a}^2-2n\bar{x}a+\sum x_i^2$ を平方完成すると、頂点の $a$ が $\bar{x}$。だから最小は $a=\bar{x}$。最小値は分散の $n$ 倍($\sum (x_i-\bar{x}{)}^2=n\times$分散)になる。

① 展開して $a$ の $2$ 次関数にする。

$$f(a)=\sum (x_i-a{)}^2=\sum x_i^2-2a\sum x_i+n{a}^2$$

$\sum x_i=n\bar{x}$ を代入して

$$f(a)=n{a}^2-2n\bar{x}a+\sum x_i^2$$

② 平方完成する。 $a$ について、

$$f(a)=n{\left(a-\bar{x}\right)}^2-n{\bar{x}}^2+\sum x_i^2$$

$a^2$ の係数 $n>0$ より下に凸。よって $a=\bar{x}$ で最小になる。(前半の証明終)

③ 最小値を分散で表す。 $a=\bar{x}$ のとき

$$f(\bar{x})=\sum x_i^2-n{\bar{x}}^2=\sum (x_i-\bar{x}{)}^2=n\times \frac{1}{n}\sum (x_i-\bar{x}{)}^2=n\times (\text{分散})$$

よって最小値は $n\times (\text{分散})$。

まとめ:「偏差の $2$ 乗和」は基準 $a$ の $2$ 次関数で、平均 $\bar{x}$ を基準にとったとき最小になる。これが「平均がデータの中心」であることの数式的な意味。最小値が $n\times$分散になるのは、分散が「偏差 $2$ 乗の平均」だから。

発展 — 一歩先へ。 「偏差の$2$乗和を最小にするのは平均」は、最小二乗法の最も簡単な形。データに直線や曲線を当てはめるとき、「残差の$2$乗和を最小にする」のが最小二乗法で、その解が平均・回帰直線を与える。一方、絶対偏差の和 $\sum |x_i-a|$ を最小にするのは中央値。「何を最小にするか」で代表値が変わる。

別解

別解 — 偏差の分解 $x_i-a=(x_i-\bar{x})+(\bar{x}-a)$ で示す(得意な人向けの高い視点)。 各偏差を「平均からの偏差」と「平均と $a$ のずれ」に分ける。

$$x_i-a=(x_i-\bar{x})+(\bar{x}-a).$$

$2$ 乗して和をとると

$$f(a)=\sum (x_i-\bar{x}{)}^2+2(\bar{x}-a)\sum (x_i-\bar{x})+n(\bar{x}-a{)}^2.$$

真ん中の項の $\sum (x_i-\bar{x})=0$(平均からの偏差の和は必ず $0$)。だから消えて

$$f(a)=\underset{a\text{ によらない定数}=n\times \text{分散}}{\underbrace{\sum (x_i-\bar{x}{)}^2}}+n(\bar{x}-a{)}^2.$$

第 $2$ 項 $n(\bar{x}-a{)}^2\ge 0$ は $a=\bar{x}$ で $0$。だから $f(a)$ は $a=\bar{x}$ で最小、最小値は第 $1$ 項の $n\times$分散。

展開して平方完成する本解より、「偏差を平均経由で分解し、交差項が $\sum (x_i-\bar{x})=0$ で消える」と見ると、最小値が $n\times$分散になる理由が構造として見える。これは統計の「平方和の分解」の原型で、分散分析の基礎だ。