数学I / データの分析

相関は推移するか

最難関編相関係数残差コーシー・シュワルツ

問題

3つの変量 $x, y, z$ があり、いずれも標準偏差は正であるとする。 $x$ と $y$ の相関係数が $\frac{4}{5}$ 、 $y$ と $z$ の相関係数が $\frac{4}{5}$ であるとき、 $x$ と $z$ の相関係数を $r$ とする。

(1) $r = 1$ となることはあるか。理由をつけて答えよ。

(2) $r \geq \frac{7}{25}$ を示せ。

(3) $r = \frac{7}{25}$ となる5個のデータの例を1つ挙げよ。

ヒントを見る

「 $x$ のうち $y$ で説明できる部分」と「説明できない残り」に分けてみよ。残りの大きさはいくらか。

(1) 極端な例を自分で狭めていないか。 $z$ にどんな変量をとってもよい。

解答・解説

方針

標準化した偏差で考える。 $x$ を「 $y$ で説明できる部分」と「残差」に分け、 $z$ も同様に分ける。すると $x$ と $z$ の相関は「説明部分どうしの積」 $+$ 「残差どうしの積」に分解し、前者は $\frac{16}{25}$ で確定、後者はコーシー・シュワルツで $\pm \frac{9}{25}$ に収まる。

解答

⓪ 発想 — どう考え始めるか。 「 $x$ と $y$ が似ていて、 $y$ と $z$ も似ているなら、 $x$ と $z$ も似ているはずだ」— この推論は正しいのか。

答えは「ある程度は正しい」。似ている度合いには下限がつくが、 $\frac{4}{5}$ と $\frac{4}{5}$ から言えるのは意外に弱い。

示す道具は「残差」である。 $x$ を「 $y$ で説明できる部分」と「残り」に分ける。 $z$ も同じように分ける。すると $x$ と $z$ の相関は、「説明できる部分どうしの相関」 $+$ 「残りどうしの相関」に分解する。

前者は $\frac{4}{5} \times \frac{4}{5} = \frac{16}{25}$ で確定だ。後者はコーシー・シュワルツで $\pm \frac{9}{25}$ の範囲に収まる。だから $r$ は $\frac{16}{25} - \frac{9}{25} = \frac{7}{25}$ より小さくはなれない。

定理コーシー・シュワルツの不等式

(\frac{1}{n} \sum p_{i} q_{i})^{2} \leq (\frac{1}{n} \sum p_{i}^{2}) (\frac{1}{n} \sum q_{i}^{2})

① (1) 上限は $1$ に届く。 届く。 $z$ として $x$ と同じ値の並びをとればよい。このとき $y$ と $z$ の相関係数は $y$ と $x$ の相関係数に等しく $\frac{4}{5}$ で、条件を満たす。そして $x$ と $z$ の相関係数は $r = 1$ である。

「 $x$ と $z$ が完全に一致する」ことは何も禁じられていない。極端な例を自分で勝手に排除しないことが大事だ。

② (2) 標準化して残差に分ける。 標準化した偏差を

$u_{i} = \frac{x _{i} - x ˉ}{s _{x}}, v_{i} = \frac{y _{i} - y ˉ}{s _{y}}, w_{i} = \frac{z _{i} - z ˉ}{s _{z}}$

とおく。どれも平均 $0$ 、分散 $1$ で、相関係数は積の平均として書ける。

$\frac{1}{n} \sum u_{i} v_{i} = \frac{4}{5}, \frac{1}{n} \sum v_{i} w_{i} = \frac{4}{5}, \frac{1}{n} \sum u_{i} w_{i} = r$

ここで「 $v$ で説明できる部分」を引いた残差を作る。

$p_{i} = u_{i} - \frac{4}{5} v_{i}, q_{i} = w_{i} - \frac{4}{5} v_{i}$

残差は $v$ と無相関になる。実際

$\frac{1}{n} \sum p_{i} v_{i} = \frac{1}{n} \sum u_{i} v_{i} - \frac{4}{5} \cdot \frac{1}{n} \sum v_{i}^{2} = \frac{4}{5} - \frac{4}{5} = 0$

また残差の大きさは

$\frac{1}{n} \sum p_{i}^{2} = \frac{1}{n} \sum u_{i}^{2} - 2 \cdot \frac{4}{5} \cdot \frac{1}{n} \sum u_{i} v_{i} + (\frac{4}{5})^{2} \cdot \frac{1}{n} \sum v_{i}^{2} = 1 - 2 \cdot \frac{16}{25} + \frac{16}{25} = \frac{9}{25}$

$q$ についても同様に $\frac{1}{n} \sum q_{i} v_{i} = 0$ 、 $\frac{1}{n} \sum q_{i}^{2} = \frac{9}{25}$ である。

③ 相関を分解する。 $u_{i} = p_{i} + \frac{4}{5} v_{i}$ 、 $w_{i} = q_{i} + \frac{4}{5} v_{i}$ を代入する。

$r = \frac{1}{n} \sum u_{i} w_{i} = \frac{1}{n} \sum p_{i} q_{i} + \frac{4}{5} \cdot \frac{1}{n} \sum p_{i} v_{i} + \frac{4}{5} \cdot \frac{1}{n} \sum q_{i} v_{i} + (\frac{4}{5})^{2} \cdot \frac{1}{n} \sum v_{i}^{2}$

真ん中の2項は $0$ (残差は $v$ と無相関)、最後は $\frac{16}{25}$ だから

$r = \frac{1}{n} \sum p_{i} q_{i} + \frac{16}{25}$

コーシー・シュワルツより

$\frac{1}{n} \sum p_{i} q_{i} \leq \frac{1}{n} \sum p_{i}^{2} \cdot \frac{1}{n} \sum q_{i}^{2} = \frac{3}{5} \cdot \frac{3}{5} = \frac{9}{25}$

したがって

$r \geq \frac{16}{25} - \frac{9}{25} = \frac{7}{25}$

④ (3) 下限を実現する例。 次の5個のデータを考える(平均はすべて $10$ )。

$x : 17, 11, 9, 3, 10 y : 11, 11, 9, 9, 10 z : 11, 17, 3, 9, 10$

偏差は $x$ が $7, 1, - 1, - 7, 0$ 、 $y$ が $1, 1, - 1, - 1, 0$ 、 $z$ が $1, 7, - 7, - 1, 0$ である。偏差の2乗和は順に $100, 4, 100$ 。

偏差の積の和を計算すると

$x と y : 7 + 1 + 1 + 7 + 0 = 16, y と z : 1 + 7 + 7 + 1 + 0 = 16, x と z : 7 + 7 + 7 + 7 + 0 = 28$

したがって

$r_{x y} = \frac{16}{100 4} = \frac{16}{20} = \frac{4}{5}, r_{y z} = \frac{16}{4 100} = \frac{4}{5}, r_{x z} = \frac{28}{100 100} = \frac{28}{100} = \frac{7}{25}$

条件を満たし、下限がちょうど実現している。

標準化した偏差をベクトルと見ると、相関係数は2本のなす角の余弦。x と y、y と z がそれぞれ角 θ(cosθ=4/5)だけ離れているとき、x と z のなす角は最大で 2θ。cos2θ = 2(4/5)^2 - 1 = 7/25 が下限になる

まとめ: 相関は完全には推移しない。 $\frac{4}{5}$ と $\frac{4}{5}$ から言えるのは「 $\frac{7}{25} = 0.28$ 以上」だけである。これは決して強い相関ではない。「 $A$ と $B$ に相関、 $B$ と $C$ に相関、ゆえに $A$ と $C$ にも強い相関」という推論は、統計では通用しないのだ。

発展 — 一歩先へ。 標準化した偏差をベクトルと見ると、相関係数は「2本のベクトルのなす角の余弦」になる。 $cos θ = \frac{4}{5}$ なら $θ$ は約 $36. 9^{\circ}$ である。

$x$ と $y$ が角 $θ$ 、 $y$ と $z$ が角 $θ$ だけ離れているなら、 $x$ と $z$ の角は最小で $0$ (同じ側に重なる)、最大で $2 θ$ (反対側に開く)。角が大きいほど余弦は小さいから

$r \geq cos 2 θ = 2 cos^{2} θ - 1 = 2 (\frac{4}{5})^{2} - 1 = \frac{32}{25} - 1 = \frac{7}{25}$

本解のコーシー・シュワルツは、この「角度の三角不等式」を式で書いたものにほかならない。相関を角度だと思えば、推移の限界が一目で見える。「相関が高い」とは「向きが近い」ということなのだ。

答

(1) ある( $z$ を $x$ と同じ値の並びにとればよい) (2) $y$ で説明できる部分と残差に分け、残差どうしにコーシー・シュワルツを当てる (3) 例: $x = (17, 11, 9, 3, 10)$ 、 $y = (11, 11, 9, 9, 10)$ 、 $z = (11, 17, 3, 9, 10)$

別解

判別式で一撃(得意な人向け)。 残差を持ち出さなくても、2乗の非負性だけで下限が出る。

標準化した $u, v, w$ に対し、実数 $t$ を使って次の量を考える。

$h (t) = \frac{1}{n} i = 1 \sum n (u_{i} + t v_{i} + w_{i})^{2}$

2乗の平均だから、どんな $t$ でも $h (t) \geq 0$ である。展開すると、 $\frac{1}{n} \sum u_{i}^{2} = \frac{1}{n} \sum v_{i}^{2} = \frac{1}{n} \sum w_{i}^{2} = 1$ と3つの相関係数を使って

$h (t) = 1 + t^{2} + 1 + 2 t \cdot \frac{4}{5} + 2 r + 2 t \cdot \frac{4}{5} = t^{2} + \frac{16}{5} t + (2 + 2 r)$

$t$ の2次関数で、 $t^{2}$ の係数は正。つねに $0$ 以上なのだから判別式は $0$ 以下である。

$(\frac{16}{5})^{2} - 4 (2 + 2 r) \leq 0$

$\frac{256}{25} \leq 8 + 8 r ⟹ 8 r \geq \frac{256}{25} - \frac{200}{25} = \frac{56}{25} ⟹ r \geq \frac{7}{25}$

数行で終わってしまった。 $u + t v + w$ という組合せを思いつくのが山場だが、「 $u$ と $w$ の関係を知りたいなら、両方を含む2乗を作って $v$ で調整する」と考えれば自然である。

等号は $h (t) = 0$ となる $t$ が存在するとき、つまり $u_{i} + t v_{i} + w_{i}$ がすべて $0$ になるときだ。判別式が $0$ のときの $t$ は $t = - \frac{8}{5}$ で、そのとき $u_{i} + w_{i} = \frac{8}{5} v_{i}$ が成り立つ。(3)の例で確かめると、偏差を正規化した $u, w$ の和がちょうど $v$ の $\frac{8}{5}$ 倍になっている。

コーシー・シュワルツも、突き詰めればこの判別式である。定理の名前を思い出せなくても、 $(何かの 2 乗) \geq 0$ から出発すれば道は開ける。

ポイント

標準化すると、相関係数は積の平均になる。
$y$ で説明できる部分と残差に分けると $r = \frac{16}{25} + (残差の積の平均)$ 。
残差の積はコーシー・シュワルツで $\pm \frac{9}{25}$ に収まる。

よくある間違い

「相関は推移する」と思い込み、 $r$ も $\frac{4}{5}$ 前後になると考える。実際には $\frac{7}{25} = 0.28$ まで下がりうる。相関の推移には、思ったよりずっと弱い制約しかない。
(2)で残差の積をコーシー・シュワルツで抑えるとき、上からの評価だけを使う。いま欲しいのは下限だから、 $- \frac{9}{25}$ 以上という負の側の評価こそが本質である。
(1)で「 $z$ を $x$ と同じにするのは反則だ」と勝手に決める。問題は3つの変量の相関を問うているだけで、 $z$ の値の並びが $x$ と一致してはいけない理由はどこにもない。