数学I / データの分析

2組のデータを合併したときの分散

実戦編データの分析分散加重平均合併単元横断

問題

同じ大きさ $n$ の $2$ 組のデータ $A, B$ がある。 $A$ の平均は $\overset{a}{ˉ}$ 、分散は $s_{A}^{2}$ 、 $B$ の平均は $\overset{ˉ}{b}$ 、分散は $s_{B}^{2}$ とする。 $A$ と $B$ を合わせた $2 n$ 個のデータ全体の分散 $s^{2}$ を、 $\overset{a}{ˉ}, \overset{ˉ}{b}, s_{A}^{2}, s_{B}^{2}$ で表せ。

ヒントを見る

各組で $\overline{x^{2}} = s^{2} + (平均)^{2}$ 。全体の $2$ 乗平均は $2$ 組の平均。全体平均 $m = \frac{a ˉ + b ˉ}{2}$ 。 $s^{2} = \overline{x^{2}} - m^{2}$ 。

解答・解説

方針

「 $2$ 乗の平均−平均の $2$ 乗」を使う。各組の $\overline{x^{2}} = s^{2} + (平均)^{2}$ から全体の $2$ 乗平均を出し、全体平均の $2$ 乗を引く。

解答

⓪ 発想 — どう考え始めるか。 合併データの分散を定義から直接計算すると、和の分割が煩雑だ。「2乗の平均 $-$ 平均の2乗」の変形を経由すると流れ作業になる。

各組で $\overline{x^{2}} = s^{2} + (平均)^{2}$ (分散の変形の逆読み)。同じ大きさ $n$ どうしの合併だから、全体の2乗平均は2組の単純平均:

$\overline{x^{2}}_{全体} = \frac{1}{2} {(s_{A}^{2} + \overset{a}{ˉ}^{2}) + (s_{B}^{2} + \overset{ˉ}{b}^{2})}$ 。

全体平均 $m = \frac{a ˉ + b ˉ}{2}$ の2乗を引けば、合併の分散が出る。

重要各組で

\overline{x^{2}} = s^{2} + (平均)^{2}

。全体で

s^{2} = \overline{x^{2}} - m^{2}

① 全体平均。 大きさが等しいので $m = \frac{a ˉ + b ˉ}{2} .$ ② 全体の $2$ 乗平均。 各組で $\overline{a^{2}} = s_{A}^{2} + \overset{a}{ˉ}^{2}$ 、 $\overline{b^{2}} = s_{B}^{2} + \overset{ˉ}{b}^{2}$ 。全体では $\overline{x^{2}} = \frac{1}{2} {(s_{A}^{2} + \overset{a}{ˉ}^{2}) + (s_{B}^{2} + \overset{ˉ}{b}^{2})} .$ ③ 分散。 $s^{2} = \overline{x^{2}} - m^{2} = \frac{s _{A}^{2} + s _{B}^{2}}{2} + \frac{a ˉ ^{2} + b ˉ ^{2}}{2} - (\frac{a ˉ + b ˉ}{2})^{2} .$ 後半は $\frac{a ˉ ^{2} + b ˉ ^{2}}{2} - \frac{( a ˉ + b ˉ ) ^{2}}{4} = \frac{2 a ˉ ^{2} + 2 b ˉ ^{2} - a ˉ ^{2} - 2 a ˉ b ˉ - b ˉ ^{2}}{4} = \frac{( a ˉ - b ˉ ) ^{2}}{4}$ 。よって $s^{2} = \frac{s _{A}^{2} + s _{B}^{2}}{2} + \frac{( a ˉ - b ˉ ) ^{2}}{4} .$

まとめ 合併分散 $=$ (各分散の平均) $+ \frac{( a ˉ - b ˉ ) ^{2}}{4}$ 。組内のばらつきに、組の平均差による項が加わる。分散と式変形(合併)の融合。

発展 — 一歩先へ。 サイズが $n_{A}, n_{B}$ と異なる一般の合併では、重み $w = \frac{n _{A}}{n _{A} + n _{B}}$ を使って $s^{2} = w s_{A}^{2} + (1 - w) s_{B}^{2} + w (1 - w) (\overset{a}{ˉ} - \overset{ˉ}{b})^{2}$ — 群内・群間の2階建て構造は同じまま、重みが付くだけだ。この分解を多群に広げたものが分散分析(ANOVA)で、「差は群の中の揺れか、群の間の差か」を切り分ける統計学の主要道具になっている。

答

全体平均 $m = \frac{a ˉ + b ˉ}{2}$ 。 $\overline{x^{2}} = \frac{1}{2} {(s_{A}^{2} + \overset{a}{ˉ}^{2}) + (s_{B}^{2} + \overset{ˉ}{b}^{2})}$ 。 $s^{2} = \overline{x^{2}} - m^{2} = \frac{s _{A}^{2} + s _{B}^{2}}{2} + \frac{( a ˉ - b ˉ ) ^{2}}{4}$ 。

別解

「群内+群間」の形に整理する(分散の2階建て分解)。 本解の結果を整理し直すと

$s^{2} = 群内分散の平均 \frac{s _{A}^{2} + s _{B}^{2}}{2} + 群間 (平均のずれ) (\frac{a ˉ - b ˉ}{2})^{2}$

という美しい2階建てになる(検算: $\frac{1}{2} (\overset{a}{ˉ}^{2} + \overset{ˉ}{b}^{2}) - (\frac{a ˉ + b ˉ}{2})^{2} = (\frac{a ˉ - b ˉ}{2})^{2}$ の恒等式)。

読み方: 合併データの散らばりは、「各組の中での散らばり」と「組どうしの平均のずれ」の2つの寄与の和 — 平均が同じ( $\overset{a}{ˉ} = \overset{ˉ}{b}$ )なら分散の単純平均、平均が離れているほど合併の分散は膨らむ。

この「群内・群間」の分解は、統計学で分散分析と呼ばれる手法の背骨そのもの。公式を丸暗記せず、2階建ての構造で持っておくと、組のサイズが違う一般の場合にも(重みを付けて)自力で再構成できる。

ポイント

各組で $\overline{x^{2}} = s^{2} + (平均)^{2}$ 。
全体平均 $m = \frac{a ˉ + b ˉ}{2}$ 、 $s^{2} = \overline{x^{2}} - m^{2}$ 。
$s^{2} = \frac{s _{A}^{2} + s _{B}^{2}}{2} + \frac{( a ˉ - b ˉ ) ^{2}}{4}$ 。

よくある間違い

合併の分散を「分散の平均 $\frac{s _{A}^{2} + s _{B}^{2}}{2}$ 」と答える(平均のずれの項 $(\frac{a ˉ - b ˉ}{2})^{2}$ が抜ける — $\overset{a}{ˉ} = \overset{ˉ}{b}$ のときだけ正しい)。
全体平均を $\overset{a}{ˉ} + \overset{ˉ}{b}$ とする(同数の合併なら平均の平均 $\frac{a ˉ + b ˉ}{2}$ )。
組のサイズが違う設定(重み付き)に公式を丸写しする(本問の式は同数専用。一般には重み $\frac{n _{A}}{n _{A} + n _{B}}$ 等が付く)。