数学B / 統計的な推測

2つの標本をどう合わせるのが最良か

最難関編標本平均分散の最小化2次関数

問題

母平均 $m$ 、母分散 $σ^{2}$ の母集団から、大きさ $n_{1}$ の無作為標本と、大きさ $n_{2}$ の無作為標本を独立に取り出す。それぞれの標本平均を $\overset{ˉ}{X}_{1}, \overset{ˉ}{X}_{2}$ とし、 $0 \leq w \leq 1$ に対して

$T = w \overset{ˉ}{X}_{1} + (1 - w) \overset{ˉ}{X}_{2}$

とおく。

(1) どんな $w$ に対しても $E (T) = m$ であることを示せ。

(2) $V (T)$ を $w$ の式で表し、 $V (T)$ を最小にする $w$ を求めよ。

(3) (2)の $w$ に対する $V (T)$ を求め、その $T$ が「2つの標本を合わせて1つの標本と見たときの標本平均」に一致することを示せ。

ヒントを見る

期待値はどんな $w$ でも $m$ になる。では何で優劣を判断するか。

$V (w \overset{ˉ}{X}_{1})$ は $w V (\overset{ˉ}{X}_{1})$ ではない。定数倍は分散にどう効くか。

解答・解説

方針

どんな重みでも期待値は $m$ (不偏)。だから優劣はばらつきの小ささで決まる。 $V (T)$ は $w$ の下に凸な2次関数だから、平方完成で最小が出る。答えは標本数の比になり、それは2つの標本を合併した平均にほかならない。

解答

⓪ 発想 — どう考え始めるか。 2つの標本から母平均をできるだけ正確に推定したい。単純平均 $\frac{X ˉ _{1} + X ˉ _{2}}{2}$ でよいのだろうか。

まず、どんな重み $w$ でも $E (T) = m$ である。つまりどれも「平均的には当たる」推定量だ(不偏)。だから優劣は、ばらつき $V (T)$ の小ささで決まる。

$V (T)$ は $w$ の2次関数で、 $w^{2}$ の係数は正だから下に凸。平方完成すれば最小が出る。

出てくる答えは $w = \frac{n _{1}}{n _{1} + n _{2}}$ — 標本数の比である。そしてその重みで作った $T$ は、じつは「2つの標本を合わせて1つの大きな標本と見たときの標本平均」にほかならない。大きい標本ほど信頼できるのだから、当然といえば当然の結論だ。

公式独立なら

V (a X + bY) = a^{2} V (X) + b^{2} V (Y)

(定数倍は2乗で効く)

① (1) 不偏性。 $E (\overset{ˉ}{X}_{1}) = E (\overset{ˉ}{X}_{2}) = m$ だから

$E (T) = w m + (1 - w) m = m$

$w$ には無関係である。

② (2) 分散を書く。 $V (\overset{ˉ}{X}_{1}) = \frac{σ ^{2}}{n _{1}}$ 、 $V (\overset{ˉ}{X}_{2}) = \frac{σ ^{2}}{n _{2}}$ で、2つの標本は独立だから

$V (T) = w^{2} \cdot \frac{σ ^{2}}{n _{1}} + (1 - w)^{2} \cdot \frac{σ ^{2}}{n _{2}} = σ^{2} (\frac{w ^{2}}{n _{1}} + \frac{( 1 - w ) ^{2}}{n _{2}})$

$w$ の2次関数である。 $w^{2}$ の係数 $\frac{1}{n _{1}} + \frac{1}{n _{2}}$ は正なので下に凸。 $N = n_{1} + n_{2}$ とおいて平方完成すると

$\frac{w ^{2}}{n _{1}} + \frac{( 1 - w ) ^{2}}{n _{2}} = \frac{N}{n _{1} n _{2}} (w - \frac{n _{1}}{N})^{2} + \frac{1}{N}$

(展開して確かめられる。)よって $w = \frac{n _{1}}{N} = \frac{n _{1}}{n _{1} + n _{2}}$ のとき最小である。

n1=10, n2=40 のときの V(w)(σ^2=1)。最小は w=0.2(標本数の比 10:40)で 0.020。単純平均 w=0.5 では 0.031 で、5割以上ばらつきが大きい

③ (3) 最小値と、その意味。 上の平方完成から、最小値は

$V (T) = \frac{σ ^{2}}{n _{1} + n _{2}}$

これは「大きさ $n_{1} + n_{2}$ の標本の標本平均の分散」と同じ形をしている。実際、 $w = \frac{n _{1}}{N}$ 、 $1 - w = \frac{n _{2}}{N}$ を代入すると

$T = \frac{n _{1} X ˉ _{1} + n _{2} X ˉ _{2}}{n _{1} + n _{2}} = \frac{( X _{1} + \dots + X _{n_{1}} ) + ( Y _{1} + \dots + Y _{n_{2}} )}{n _{1} + n _{2}}$

となり、 $T$ は $n_{1} + n_{2}$ 個のデータ全部の平均そのものである。つまり「最良の重み付き平均」とは「全部まとめて平均をとる」ことだったのだ。

まとめ: 不偏な推定量が複数あるときは、分散の小ささで選ぶ。2次関数の最小化に持ち込めばよい。答えは標本数の比で、それは全データをまとめた平均に一致する。

発展 — 一歩先へ。 この結果は「情報の重みづけ」の原型である。一般に、複数の不偏推定量を合わせるときの最良の重みは、分散の逆数に比例する。本問では $V (\overset{ˉ}{X}_{i}) = \frac{σ ^{2}}{n _{i}}$ だから、分散の逆数は $\frac{n _{i}}{σ ^{2}}$ に比例し、重みは標本数の比になる。

この「逆分散重み付け」は実務のあちこちで使われている。複数の観測所の測定値を統合する気象予報(データ同化)、複数の臨床試験の結果を統合するメタ分析、センサーの信号を融合するカルマンフィルタ — どれも「精度の高い情報を重く、低い情報を軽く」という同じ原理で動いている。 $n_{1} = 10, n_{2} = 40$ のとき、単純平均だとばらつきは $0.031$ 、最良の重みなら $0.020$ 。同じデータから、重みを変えるだけで精度が $1.5$ 倍以上変わるのだ。

答

(1) $E (T) = w m + (1 - w) m = m$ (2) $V (T) = σ^{2} (\frac{w ^{2}}{n _{1}} + \frac{( 1 - w ) ^{2}}{n _{2}})$ で、最小は $w = \frac{n _{1}}{n _{1} + n _{2}}$ (3) 最小値は $\frac{σ ^{2}}{n _{1} + n _{2}}$ 。そのとき $T$ は $n_{1} + n_{2}$ 個すべての平均に等しい

別解

コーシー・シュワルツで最小値と等号条件を同時に出す(高い視点)。 平方完成も微分も使わずに、不等式1本で片づけることもできる。

$1 = {w + (1 - w)}^{2} = (\frac{w}{n _{1}} \cdot n_{1} + \frac{1 - w}{n _{2}} \cdot n_{2})^{2}$

と書いておいて、コーシー・シュワルツの不等式を当てる。

$1 \leq (\frac{w ^{2}}{n _{1}} + \frac{( 1 - w ) ^{2}}{n _{2}}) (n_{1} + n_{2})$

したがって

$\frac{V ( T )}{σ ^{2}} = \frac{w ^{2}}{n _{1}} + \frac{( 1 - w ) ^{2}}{n _{2}} \geq \frac{1}{n _{1} + n _{2}}$

最小値 $\frac{σ ^{2}}{n _{1} + n _{2}}$ がいきなり出た。等号はコーシー・シュワルツの等号条件、すなわち

$\frac{w / n _{1}}{n _{1}} = \frac{( 1 - w ) / n _{2}}{n _{2}} ⟺ \frac{w}{n _{1}} = \frac{1 - w}{n _{2}}$

のときで、これを解くと $w = \frac{n _{1}}{n _{1} + n _{2}}$ 。本解と一致する。

$1 = {w + (1 - w)}^{2}$ という当たり前の等式に、うまく $n_{1}$ 、 $n_{2}$ を挿し込むのがコツだ。「和が一定のものの2乗を、コーシー・シュワルツで下から押さえる」— この形は最小値問題の頻出パターンである。 $\frac{a ^{2}}{p} + \frac{b ^{2}}{q} \geq \frac{( a + b ) ^{2}}{p + q}$ (コーシー・シュワルツの分数形)として覚えておくと、いろいろな場面で使える。

ポイント

どんな $w$ でも不偏。優劣はばらつきで決まる。
$V (T) = σ^{2} (\frac{w ^{2}}{n _{1}} + \frac{( 1 - w ) ^{2}}{n _{2}})$ は下に凸の2次関数。
最小は $w = \frac{n _{1}}{n _{1} + n _{2}}$ 。それは全データをまとめた平均。

よくある間違い

「2つの標本平均なのだから単純に平均すればよい」と考える。標本の大きさが違えば信頼度も違う。大きい標本の平均のほうがばらつきが小さいので、重く扱うべきである。
$V (T) = w V (\overset{ˉ}{X}_{1}) + (1 - w) V (\overset{ˉ}{X}_{2})$ と書いてしまう。定数倍は分散に2乗で効く: $V (a X) = a^{2} V (X)$ である。
最小の重みを $w = \frac{n _{2}}{n _{1} + n _{2}}$ と逆にする。 $n_{1}$ が大きいほど $\overset{ˉ}{X}_{1}$ は信頼できるので、 $w$ は $1$ に近づく。極端な場合( $n_{2} = 0$ )を考えれば向きを確かめられる。