数学B / 統計的な推測

無相関でも独立とは限らない

最難関編独立共分散相関

問題

確率変数 $X$ は $- 1, 0, 1$ の値をそれぞれ確率 $\frac{1}{3}$ でとるとし、 $Y = X^{2}$ とする。

(1) $X$ と $Y$ は独立でないことを示せ。

(2) $E (X Y) = E (X) E (Y)$ が成り立つことを示せ(すなわち $X$ と $Y$ の共分散は $0$ で、無相関である)。

(3) 一般に、 $X$ と $Y$ が独立ならば $E (X Y) = E (X) E (Y)$ であることを示せ。

ヒントを見る

$X = 0$ のとき $Y$ は何になるか。独立の定義を、この1点で確かめてみよ。

(2) $E (X Y)$ は $E (X^{3})$ である。 $X$ の分布の対称性を見よ。

解答・解説

方針

相関係数(共分散)は「直線的な関係」しか見ていない。だから放物線の関係 $Y = X^{2}$ で完全に結ばれていても、 $X$ の分布が原点対称なら共分散は $0$ になる。一方、 $X$ が決まれば $Y$ は完全に決まるのだから、独立であるはずがない。

解答

⓪ 発想 — どう考え始めるか。 「無相関」と「独立」は同じことか。答えは No である。

共分散(相関係数)は、 $X$ と $Y$ の「直線的な関係」しか見ていない。だから、直線でない関係 — たとえば放物線 — で完全に結ばれていても、相関は $0$ になりうる。

そういう例を作ればよい。 $Y = X^{2}$ は放物線の関係だ。 $X$ を原点対称に散らせば、 $E (X) = 0$ かつ $E (X^{3}) = 0$ となり、共分散が消える。

それでいて、 $X$ の値が決まれば $Y$ の値は完全に決まってしまう。これほど強く結びついているのに相関は $0$ — 相関係数の限界が、ここにはっきり現れている。

定理

X

と

Y

が独立ならば

E (X Y) = E (X) E (Y)

(逆は成り立たない)

① (1) 独立の定義を破る。 $P (X = 0) = \frac{1}{3}$ である。また $Y = X^{2}$ だから、 $Y = 0$ となるのは $X = 0$ のときに限り、 $P (Y = 0) = \frac{1}{3}$ 。

もし独立なら

$P (X = 0, Y = 0) = P (X = 0) P (Y = 0) = \frac{1}{3} \cdot \frac{1}{3} = \frac{1}{9}$

でなければならない。ところが実際には「 $X = 0$ ならば必ず $Y = 0$ 」だから

$P (X = 0, Y = 0) = P (X = 0) = \frac{1}{3} \neq = \frac{1}{9}$

よって $X$ と $Y$ は独立ではない。

② (2) 共分散を計算する。 $Y$ のとる値は $X = - 1, 0, 1$ に対応して $1, 0, 1$ である。

$E (X) = \frac{( - 1 ) + 0 + 1}{3} = 0, E (Y) = E (X^{2}) = \frac{1 + 0 + 1}{3} = \frac{2}{3}$

$E (X Y) = E (X \cdot X^{2}) = E (X^{3}) = \frac{( - 1 ) ^{3} + 0 ^{3} + 1 ^{3}}{3} = 0$

したがって

$E (X Y) - E (X) E (Y) = 0 - 0 \cdot \frac{2}{3} = 0$

共分散は $0$ で、 $X$ と $Y$ は無相関である。

(X, Y) がとる3点(各確率 1/3)。すべて放物線 y=x^2 の上にあり、X が決まれば Y は完全に決まる。それでも左右対称なので共分散は 0(無相関)。相関係数は直線的な関係しか見ていない

③ (3) 独立ならば無相関。 $X$ のとりうる値を $a$ 、 $Y$ のとりうる値を $b$ とする。独立だから $P (X = a, Y = b) = P (X = a) P (Y = b)$ 。よって

$E (X Y) = a \sum b \sum ab P (X = a, Y = b) = a \sum b \sum ab P (X = a) P (Y = b)$

和を分解できて

$= (a \sum a P (X = a)) (b \sum b P (Y = b)) = E (X) E (Y)$

つまり「独立 $\Rightarrow$ 無相関」は正しい。本問が示したのは、その逆が成り立たないことである。

まとめ: 「無相関」は「直線的な関係がない」という意味にすぎない。「独立」(どんな意味でも無関係)とは別物である。相関係数が $0$ でも、 $X$ と $Y$ が完全に結びついていることがある。

発展 — 一歩先へ。 「相関が $0$ だから関係がない」と結論するのは、統計でいちばん多い誤りの1つである。散布図がU字や放物線を描いていれば、相関係数は $0$ に近くなる。だから「相関係数を計算する前に、必ず散布図を描け」と言われるのだ。

逆向きの主張は正しい。(3)で示したとおり「独立 $\Rightarrow$ 無相関」だから、その対偶「相関がある $\Rightarrow$ 独立でない」も正しい。相関があれば必ず何らかの関係はある。成り立たないのは逆の推論だけだ。

なお、 $X$ と $Y$ の組が2次元正規分布に従う場合には「無相関 $\Rightarrow$ 独立」が成り立つ。正規分布の世界では、直線的な関係がすべてなのである。これが正規分布の特別さの1つであり、統計の理論が正規分布を好む理由でもある。

答

(1) $P (X = 0, Y = 0) = \frac{1}{3} \neq = \frac{1}{3} \cdot \frac{1}{3}$ (2) $E (X) = 0$ 、 $E (X Y) = E (X^{3}) = 0$ なので共分散は $0$ (3) 独立性 $P (X = a, Y = b) = P (X = a) P (Y = b)$ を代入して和を分解する

別解

対称性だけで共分散が $0$ を見抜く(見通しのルート)。 $E (X^{3}) = 0$ は、計算しなくても見える。

$X$ の分布は原点対称( $- 1$ と $1$ が同じ確率、 $0$ が中央)であり、 $x^{3}$ は奇関数だ。奇関数の期待値は、対称な分布のもとでは $0$ になる。正の側と負の側がぴったり打ち消し合うからである。

この見方を使えば、無相関だが独立でない例はいくらでも作れる。 $X$ の分布が原点対称でありさえすれば、 $X$ の偶関数 $g (X)$ (たとえば $X^{2}$ 、 $∣ X ∣$ 、 $X^{4}$ )との共分散はつねに $0$ になる。実際

$共分散 = E (X g (X)) - E (X) E (g (X))$

で、 $g$ が偶関数なら $x g (x)$ は奇関数だから第1項は $0$ 、そして $E (X) = 0$ だから第2項も $0$ である。

「偶関数と奇関数は打ち消し合う」— 積分や級数でおなじみのこの性質が、確率の世界でも同じ働きをしている。無相関とは、いわば「直交」のことなのだ。そう思えば、相関係数が直線的な関係しか捉えられない理由も腑に落ちる。直交していても、まったく無関係とは限らないのである。

ポイント

$X = 0$ の1点で独立の定義が破れる( $\frac{1}{3} \neq = \frac{1}{9}$ )。
$X$ の分布が原点対称なので $E (X) = E (X^{3}) = 0$ → 共分散 $0$ 。
独立 $\Rightarrow$ 無相関は正しいが、逆は成り立たない。

よくある間違い

「共分散が $0$ なら独立」と結論する。統計でもっとも多い誤解の1つである。逆(独立ならば共分散は $0$ )は正しいが、その逆は成り立たない。
(1)で「 $Y$ は $X$ で決まるから独立でない」とだけ書いて済ませる。直感としては正しいが、答案では独立の定義 $P (X = a, Y = b) = P (X = a) P (Y = b)$ を破る具体例を1つ挙げるのが確実である。
$E (X^{3})$ を ${E (X)}^{3}$ と計算する。期待値は関数の中に入れられない。 $E (X^{3})$ は $x^{3}$ の値に確率を掛けて足す。