数学I / データの分析

分散は「範囲の半分」の2乗を超えない

最難関編分散最大値2次関数

問題

$n$ 個のデータ $x_{1}, x_{2}, \dots, x_{n}$ がすべて $m \leq x_{i} \leq M$ ( $m < M$ )を満たすとする。このデータの平均値を $\overset{x}{ˉ}$ 、分散を $s^{2}$ とする。

(1) $s^{2} \leq \frac{( M - m ) ^{2}}{4}$ を示せ。

(2) $n$ が偶数のとき、等号が成り立つデータの例を1つ挙げよ。

(3) $n$ が奇数のとき、 $s^{2}$ の最大値を求めよ。

ヒントを見る

平均のまわりで測るのをやめて、区間の中点のまわりで測ってみよ。どちらの2乗和が大きいか。

(3) 分散を1つのデータ $x_{i}$ だけの関数と見ると、どんな形か。最大はどこでとるか。

解答・解説

方針

分散は平均のまわりの散らばりだが、平均の位置は分からない。そこで「どんな $c$ でも $\frac{1}{n} \sum (x_{i} - c)^{2} = s^{2} + (\overset{x}{ˉ} - c)^{2}$ 」を使い、中点 $c$ のまわりで評価する。(3)は「分散は各 $x_{i}$ の下に凸な2次関数」だから最大は区間の端(つまり $m$ か $M$ )でとる、と絞ってから $ab$ の最大化に持ち込む。

解答

⓪ 発想 — どう考え始めるか。 分散は平均のまわりの散らばりだ。だが平均がどこにあるかは分からない。分かっているのは「全部が $[m, M]$ に入っている」ことだけである。

そこで、測る中心を取り替える。区間の中点 $c = \frac{m + M}{2}$ なら、どのデータも $c$ から $\frac{M - m}{2}$ 以内にある。これは確実に使える情報だ。

ただし中心を平均からずらすと、2乗和は必ず増える。逆に言えば「平均のまわりの2乗和 $\leq$ 中点のまわりの2乗和」。この向きの不等式こそ、いま欲しいものである。

(3)は最大値を狙う。分散を1つのデータ $x_{i}$ だけの関数と見ると、 $x_{i}$ の2次関数で下に凸だ。下に凸な関数の閉区間での最大は、必ず端でとる。だから最大にするデータは $m$ か $M$ しか使わない。ここまで絞れれば、あとは個数の問題になる。

公式任意の

c

に対して

\frac{1}{n} i = 1 \sum n (x_{i} - c)^{2} = s^{2} + (\overset{x}{ˉ} - c)^{2}

(中心を平均からずらしたぶんだけ増える)

① (1) 中点のまわりで測る。 $c = \frac{m + M}{2}$ とおく。 $c$ は区間の中点だから、 $m \leq x_{i} \leq M$ より

$∣ x_{i} - c ∣ \leq \frac{M - m}{2}$

(区間の端まででも、中点からの距離は $\frac{M - m}{2}$ である。)公式より

$s^{2} = \frac{1}{n} i = 1 \sum n (x_{i} - c)^{2} - (\overset{x}{ˉ} - c)^{2} \leq \frac{1}{n} i = 1 \sum n (x_{i} - c)^{2} \leq \frac{1}{n} \cdot n \cdot (\frac{M - m}{2})^{2} = \frac{( M - m ) ^{2}}{4}$

引いた $(\overset{x}{ˉ} - c)^{2}$ が $0$ 以上であることが効いている。

② (2) 等号の例。 $n$ が偶数のとき、 $m$ を $\frac{n}{2}$ 個、 $M$ を $\frac{n}{2}$ 個並べる。平均はちょうど中点 $c = \frac{m + M}{2}$ になり、どの偏差も $\pm \frac{M - m}{2}$ 。よって

$s^{2} = (\frac{M - m}{2})^{2} = \frac{( M - m ) ^{2}}{4}$

で等号が成り立つ。

n が偶数のときの等号の配置。データを両端 m と M に半分ずつ置くと、平均はちょうど中点にきて、どの偏差も (M-m)/2 になる。散らばりはこれ以上大きくできない

③ (3) まず「端だけを使う」ことを示す。 $x_{1}$ 以外を固定し、 $s^{2}$ を $x_{1}$ の関数と見る。 $s^{2} = \frac{1}{n} \sum x_{i}^{2} - \overset{x}{ˉ}^{2}$ で、 $\overset{x}{ˉ} = \frac{x _{1} + K}{n}$ ( $K$ は他の和)だから、 $x_{1}^{2}$ の係数は

$\frac{1}{n} - \frac{1}{n ^{2}} = \frac{n - 1}{n ^{2}} > 0$

つまり下に凸の2次関数である。下に凸な関数が閉区間 $[m, M]$ で最大になるのは端点だけ。よって $s^{2}$ が最大のとき $x_{1}$ は $m$ か $M$ である。他のデータも同じだから、最大を与えるデータは $m$ と $M$ だけからなる。

④ 個数を最適にする。 $m$ が $a$ 個、 $M$ が $b$ 個( $a + b = n$ )とする。平均は $\overset{x}{ˉ} = \frac{am + b M}{n}$ で、 $m$ の偏差は $- \frac{b ( M - m )}{n}$ 、 $M$ の偏差は $\frac{a ( M - m )}{n}$ 。したがって

$s^{2} = \frac{1}{n} {a \cdot \frac{b ^{2} ( M - m ) ^{2}}{n ^{2}} + b \cdot \frac{a ^{2} ( M - m ) ^{2}}{n ^{2}}} = \frac{ab ( a + b )}{n ^{3}} (M - m)^{2} = \frac{ab}{n ^{2}} (M - m)^{2}$

あとは $a + b = n$ のもとで $ab$ を最大にすればよい。 $n$ が奇数だと半々にできないので、 $a, b$ は $\frac{n - 1}{2}$ と $\frac{n + 1}{2}$ のときが最大で

$ab = \frac{n - 1}{2} \cdot \frac{n + 1}{2} = \frac{n ^{2} - 1}{4}$

よって求める最大値は

$s_{m a x}^{2} = \frac{n ^{2} - 1}{4 n ^{2}} (M - m)^{2}$

まとめ: 「範囲さえ分かれば分散に上限がつく」。中心を中点に取り替えるのが第一手、最大の探索を端点に絞るのが第二手である。

発展 — 一歩先へ。 $n$ が奇数のときの最大値 $\frac{n ^{2} - 1}{4 n ^{2}} (M - m)^{2}$ は、 $\frac{( M - m ) ^{2}}{4}$ よりわずかに小さい。ちょうど半々に割れないぶんだけ損をするのだ。 $n$ を大きくすれば差は消えていく。

この不等式(ポポヴィチウの不等式)は実務でも使える。測定値の上限と下限しか分からない状況で、標準偏差の上限を見積もれるからだ。逆に「標準偏差が大きいのに範囲が狭い」という報告があれば、それは計算間違いである。散らばりと範囲は、独立には動けない。

答

(1) 中点 $c = \frac{m + M}{2}$ のまわりで測ると $∣ x_{i} - c ∣ \leq \frac{M - m}{2}$ 。平均のまわりの2乗和はそれ以下 (2) $m$ と $M$ を $\frac{n}{2}$ 個ずつ (3) $\frac{( n ^{2} - 1 ) ( M - m ) ^{2}}{4 n ^{2}}$

別解

もっと鋭い上限を作る(高い視点)。 実は $\frac{( M - m ) ^{2}}{4}$ より強い評価が、平均を使って書ける。

各データは $m \leq x_{i} \leq M$ を満たすから、2つの距離の積は $0$ 以上である。

$(x_{i} - m) (M - x_{i}) \geq 0$

展開すると $x_{i}^{2} \leq (m + M) x_{i} - m M$ 。 $i$ について足して $n$ で割ると

$\frac{1}{n} \sum x_{i}^{2} \leq (m + M) \overset{x}{ˉ} - m M$

よって

$s^{2} = \frac{1}{n} \sum x_{i}^{2} - \overset{x}{ˉ}^{2} \leq (m + M) \overset{x}{ˉ} - m M - \overset{x}{ˉ}^{2} = - (\overset{x}{ˉ} - m) (\overset{x}{ˉ} - M) = (\overset{x}{ˉ} - m) (M - \overset{x}{ˉ})$

「分散は、平均から左端までの距離と、平均から右端までの距離の積を超えない」。これが本当の姿だ。

最後に相加相乗平均を使う。2つの距離の和は $(\overset{x}{ˉ} - m) + (M - \overset{x}{ˉ}) = M - m$ で一定だから

$(\overset{x}{ˉ} - m) (M - \overset{x}{ˉ}) \leq (\frac{M - m}{2})^{2}$

これで(1)が出る。しかも途中の $(\overset{x}{ˉ} - m) (M - \overset{x}{ˉ})$ は、平均が端に寄っているデータに対してずっと鋭い上限を与える。たとえば $[0, 1]$ のデータで平均が $0.1$ なら、分散は $0.1 \times 0.9 = 0.09$ 以下 — $\frac{1}{4}$ よりはるかに強い。

最初の不等式で等号が成り立つのは、すべての $x_{i}$ が $m$ か $M$ のときである。(3)で「端点だけを使う」と絞ったのは、この等号条件を先取りしていたことになる。

ポイント

中点 $c = \frac{m + M}{2}$ のまわりで測ると $∣ x_{i} - c ∣ \leq \frac{M - m}{2}$ 。
$\frac{1}{n} \sum (x_{i} - c)^{2} = s^{2} + (\overset{x}{ˉ} - c)^{2}$ で、平均のまわりが最小。
最大は端点 $m, M$ だけのデータ。 $ab$ の最大化に帰着する。

よくある間違い

(1)で $\overset{x}{ˉ} = \frac{m + M}{2}$ と勝手に仮定して議論する。平均がどこにあるかは分からない。だからこそ「中点のまわりで測り、平均のまわりのほうが小さい」という向きの評価が必要になる。
(3)で、最大を与えるデータが端点( $m$ か $M$ )だけであることを示さずに、いきなり「半々にすればよい」と決めつける。 $n$ が奇数のときは半々にできないので、この詰めが本質的である。
$ab$ ( $a + b = n$ )の最大を $\frac{n ^{2}}{4}$ としてしまう。 $a, b$ は整数だから、 $n$ が奇数のときの最大は $\frac{n - 1}{2} \cdot \frac{n + 1}{2} = \frac{n ^{2} - 1}{4}$ である。