数学I / データの分析

偏差平方和を最小にする値は平均

実戦編データの分析平均2次関数最小単元横断

問題

$n$ 個のデータ $x_{1}, \dots, x_{n}$ に対し、 $g (a) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - a)^{2}$ を最小にする $a$ を求め、そのときの最小値を求めよ。

ヒントを見る

$g (a)$ を展開すると $a$ の $2$ 次関数(下に凸)。平方完成の頂点の $a$ は? そのときの値は分散。

解答・解説

方針

$g (a)$ を $a$ の $2$ 次関数として展開し、平方完成する。頂点の $a$ が最小を与え、最小値が分散になる。

解答

⓪ 発想 — どう考え始めるか。 $g (a)$ は $a$ の2次関数だ — データの問題に見えて、実体は平方完成の問題になる。

展開すると $g (a) = a^{2} - 2 \overset{x}{ˉ} a + \overline{x^{2}}$ 。平方完成して

$g (a) = (a - \overset{x}{ˉ})^{2} + \overline{x^{2}} - (\overset{x}{ˉ})^{2}$ 。

最小は $a = \overset{x}{ˉ}$ (平均)のとき、最小値は $\overline{x^{2}} - (\overset{x}{ˉ})^{2}$ — 分散そのもの。「平均は、平方誤差でデータに一番近い1点」という統計の心臓部が、放物線の頂点として現れる。

重要

g (a) = (a - \overset{x}{ˉ})^{2} + (\overline{x^{2}} - (\overset{x}{ˉ})^{2})

(下に凸、頂点

a = \overset{x}{ˉ}

)

① $a$ の $2$ 次関数に。 $g (a) = \frac{1}{n} \sum (x_{i} - a)^{2} = \frac{1}{n} \sum (x_{i}^{2} - 2 a x_{i} + a^{2}) = \overline{x^{2}} - 2 \overset{x}{ˉ} a + a^{2} .$ ② 平方完成。 $g (a) = a^{2} - 2 \overset{x}{ˉ} a + \overline{x^{2}} = (a - \overset{x}{ˉ})^{2} + (\overline{x^{2}} - (\overset{x}{ˉ})^{2}) .$ ③ 最小。 $(a - \overset{x}{ˉ})^{2} \geq 0$ だから、 $a = \overset{x}{ˉ}$ (平均)で最小。最小値は $g (\overset{x}{ˉ}) = \overline{x^{2}} - (\overset{x}{ˉ})^{2} = s^{2} (分散) .$

Σ(xᵢ−a)² は a の2次関数。a=平均のとき最小(偏差平方和は平均で最小)

まとめ $g (a)$ は $a$ の下に凸な $2$ 次関数、頂点 $a = \overset{x}{ˉ}$ で最小、最小値は分散 $s^{2}$ 。平均は「 $2$ 乗ずれを最小にする点」。平均と $2$ 次関数(平方完成)の融合。

発展 — 一歩先へ。 「平方誤差の最小=平均」と、次問の「絶対誤差の最小=中央値」は、誤差の測り方(2乗か絶対値か)で最良の代表値が変わる、という対をなす。外れ値に平均が引きずられ中央値が頑健なのも、この2つの最小化問題の性格の違いそのもの — 代表値の選択は、実は「どの誤差を最小化したいか」の選択なのだ。

答

$g (a) = a^{2} - 2 \overset{x}{ˉ} a + \overline{x^{2}} = (a - \overset{x}{ˉ})^{2} + (\overline{x^{2}} - (\overset{x}{ˉ})^{2})$ 。 $a = \overset{x}{ˉ}$ (平均)で最小、最小値は分散 $s^{2} = \overline{x^{2}} - (\overset{x}{ˉ})^{2}$ 。

別解

交差項が消える分解で(平方完成の種明かし)。 偏差を「平均まで」と「平均から $a$ まで」に付け替える:

$x_{i} - a = (x_{i} - \overset{x}{ˉ}) + (\overset{x}{ˉ} - a)$

2乗して平均すると、交差項は $\frac{2 ( x ˉ - a )}{n} \sum (x_{i} - \overset{x}{ˉ}) = 0$ (偏差の和は $0$ !)で消え

$g (a) = = s^{2} \frac{1}{n} \sum (x_{i} - \overset{x}{ˉ})^{2} + (\overset{x}{ˉ} - a)^{2}$

— $g (a) = s^{2} + (\overset{x}{ˉ} - a)^{2}$ という分解の恒等式が出る。第2項は $a = \overset{x}{ˉ}$ で $0$ 、それ以外では正。よって最小は平均で、最小値は分散。

平方完成(本解)と同じ結論だが、この形は「誤差 $=$ 本来の散らばり $+$ 基準のずれの2乗」という分解として読める — 統計学で繰り返し現れる「平方和の分解」の、いちばん小さな見本だ。

ポイント

$g (a) = (a - \overset{x}{ˉ})^{2} + (\overline{x^{2}} - (\overset{x}{ˉ})^{2})$ 。
最小を与える $a = \overset{x}{ˉ}$ (平均)。
最小値は分散 $s^{2} = \overline{x^{2}} - (\overset{x}{ˉ})^{2}$ 。

よくある間違い

交差項 $\sum (x_{i} - \overset{x}{ˉ})$ が $0$ になる理由(偏差の和=0)を書かずに消す。
最小値を「 $0$ 」と答える(最小値は分散 $s^{2}$ 。 $0$ になるのは全データが等しいときだけ)。
$g (a)$ の最小を微分で求めようとする(数Iでは平方完成。結論は同じだが道具の選択)。