分散の非負性(E(X²)≥(E(X))²)

方針

解答

⓪ 発想 — どう考え始めるか。 示したい2つは同じ根から出る。まず分散の定義 $V(X)=E[(X-\mu {)}^2]$($\mu =E(X)$)を展開する。

$(X-\mu {)}^2=X^2-2\mu X+{\mu }^2$ の期待値を、線形性で1項ずつとる。$E(X)=\mu$ を使うと $E(X^2)-{\mu }^2$ にまとまる。これが第1の主張だ。

第2の主張はおまけで出る。$(X-\mu {)}^2\ge 0$ だから、その期待値 $V(X)$ も $0$ 以上。すなわち $E(X^2)\ge {\mu }^2$。

① 定義を展開。 $\mu =E(X)$ とすると $$V(X)=E[(X-\mu {)}^2]=E[X^2-2\mu X+{\mu }^2]=E(X^2)-2\mu E(X)+{\mu }^2.$$ $E(X)=\mu$ を代入すると $$V(X)=E(X^2)-2{\mu }^2+{\mu }^2=E(X^2)-{\mu }^2=E(X^2)-\{E(X){\}}^2.$$ ② 非負性。 $(X-\mu {)}^2\ge 0$ は常に成り立つ確率変数だから、その期待値も $$V(X)=E[(X-\mu {)}^2]\ge 0.$$ ③ 結論。 $E(X^2)-\{E(X){\}}^2=V(X)\ge 0$、すなわち $$E(X^2)\ge \{E(X){\}}^2.$$

まとめ 定義 $E[(X-\mu {)}^2]$ を展開して $E(X^2)-\{E(X){\}}^2$、これは $2$ 乗の期待値で $\ge 0$。ゆえに $E(X^2)\ge \{E(X){\}}^2$。分散(定義)と不等式の融合。

発展 — 一歩先へ。 $E(X^2)\ge \{E(X){\}}^2$ はイェンゼンの不等式(下に凸な関数 $f$ で $E[f(X)]\ge f(E[X])$)の $f(x)=x^2$ の場合だ。凸関数なら平均を先にとるより関数を先に通す方が大きい、という一般則で、対数(上に凸)を使えば相加相乗平均の不等式が出る。分散の非負性は、この深い不等式の入り口である。

別解

別解 — 2次関数の最小値として読む(苦手な人にも見通しのよいルート)。 定数 $t$ を動かして、$E[(X-t{)}^2]$ という量を考える。展開すると

$$g(t)=E[(X-t{)}^2]=E(X^2)-2tE(X)+t^2.$$

これは $t$ の下に凸な2次関数で、$(X-t{)}^2\ge 0$ の期待値だから $g(t)\ge 0$ が常に成り立つ。

2次関数の最小値は頂点 $t=E(X)=\mu$ でとり、その値が $g(\mu )=E(X^2)-{\mu }^2=V(X)$。「常に $0$ 以上な2次関数の最小値」だから $V(X)\ge 0$、すなわち $E(X^2)\ge {\mu }^2$。

「$X$ に最も近い定数は平均 $\mu$ で、そのときの平均二乗誤差が分散」という見方だ。$g(t)\ge 0$ の判別式条件からも $\{E(X){\}}^2\le E(X^2)$ が出て、これはコーシー・シュワルツの不等式の特別な場合になっている。