数学I / データの分析

回帰直線と相関係数の正体

最難関編最小二乗法相関係数2次関数の最小

問題

$n$ 個のデータ $(x_{1}, y_{1}), \dots, (x_{n}, y_{n})$ について、 $x$ の平均を $\overset{x}{ˉ}$ 、分散を $s_{x}^{2}$ ( $s_{x} > 0$ )、 $y$ の平均を $\overset{y}{ˉ}$ 、分散を $s_{y}^{2}$ ( $s_{y} > 0$ )、共分散を $s_{x y}$ 、相関係数を $r$ とする。直線 $y = a x + b$ に対して

$Q (a, b) = i = 1 \sum n (y_{i} - a x_{i} - b)^{2}$

とおく( $Q$ は各点から直線までの縦のずれの2乗和である)。

(1) $Q$ を最小にする $a, b$ を求めよ。

(2) $Q$ の最小値は $n s_{y}^{2} (1 - r^{2})$ であることを示せ。

(3) (2)から $- 1 \leq r \leq 1$ を導き、 $r = \pm 1$ となるのはどんなときか答えよ。

ヒントを見る

2変数の最小化は、片方を固定して1つずつ。まず $b$ について平方完成せよ。

(3) $Q$ は何の和か。だから符号はどうなるか。

解答・解説

方針

$Q$ は $a, b$ の2変数関数だが、1つずつ平方完成すればよい。まず $b$ について。すると「直線は $(\overset{x}{ˉ}, \overset{y}{ˉ})$ を通る」が自動的に出る。次に $a$ について平方完成すると最小値が出て、その形 $n s_{y}^{2} (1 - r^{2})$ がそのまま $∣ r ∣ \leq 1$ を語る。

解答

⓪ 発想 — どう考え始めるか。 「データに最もよく合う直線」をどう決めるか。縦のずれの2乗和 $Q$ を最小にする、というのがその答えだ。

$Q$ は $a$ と $b$ の2変数関数だが、怖がることはない。 $b$ を先に、 $a$ を後に、と1つずつ平方完成すればよい。

$b$ について平方完成すると $b = \overset{y}{ˉ} - a \overset{x}{ˉ}$ が出る。これは「直線は必ず点 $(\overset{x}{ˉ}, \overset{y}{ˉ})$ を通る」ことを意味する。データの重心を通るのだ。

その $b$ を代入すると、 $Q$ は $a$ だけの2次関数になる。もう一度平方完成すれば $a$ が決まり、最小値も出る。そして最小値の形 $n s_{y}^{2} (1 - r^{2})$ が、 $- 1 \leq r \leq 1$ の理由をそのまま語っている。 $Q$ は2乗の和だから $0$ 以上 — それだけのことなのだ。

公式

\sum (z_{i} - b)^{2} = n (b - \overset{z}{ˉ})^{2} + \sum (z_{i} - \overset{z}{ˉ})^{2}

(平方完成。

b = \overset{z}{ˉ}

で最小)

① $b$ について最小化する。 $z_{i} = y_{i} - a x_{i}$ とおくと $Q = \sum (z_{i} - b)^{2}$ で、 $\overset{z}{ˉ} = \overset{y}{ˉ} - a \overset{x}{ˉ}$ である。公式より $b = \overset{y}{ˉ} - a \overset{x}{ˉ}$ のとき最小で、そのときの値は

$Q = \sum (z_{i} - \overset{z}{ˉ})^{2} = \sum {(y_{i} - \overset{y}{ˉ}) - a (x_{i} - \overset{x}{ˉ})}^{2}$

「直線は $(\overset{x}{ˉ}, \overset{y}{ˉ})$ を通る」ことが、計算から自動的に出てきた。

② $a$ について最小化する。 展開すると

$Q = \sum (y_{i} - \overset{y}{ˉ})^{2} - 2 a \sum (x_{i} - \overset{x}{ˉ}) (y_{i} - \overset{y}{ˉ}) + a^{2} \sum (x_{i} - \overset{x}{ˉ})^{2} = n s_{y}^{2} - 2 an s_{x y} + a^{2} n s_{x}^{2}$

$a$ の2次関数で、 $a^{2}$ の係数 $n s_{x}^{2}$ は正だから下に凸。平方完成して

$Q = n s_{x}^{2} (a - \frac{s _{x y}}{s _{x}^{2}})^{2} + n s_{y}^{2} - \frac{n s _{x y}^{2}}{s _{x}^{2}}$

よって $a = \frac{s _{x y}}{s _{x}^{2}}$ のとき最小である。

③ (2) 最小値を整理する。

$Q_{m i n} = n s_{y}^{2} - \frac{n s _{x y}^{2}}{s _{x}^{2}} = n s_{y}^{2} (1 - \frac{s _{x y}^{2}}{s _{x}^{2} s _{y}^{2}}) = n s_{y}^{2} (1 - r^{2})$

最後は $r = \frac{s _{x y}}{s _{x} s _{y}}$ より $r^{2} = \frac{s _{x y}^{2}}{s _{x}^{2} s _{y}^{2}}$ を使った。

点 (1,2),(2,3),(3,7),(4,6),(5,12) と回帰直線 y=2.3x-0.9。赤い縦線が残差で、その2乗の和が最小になるように直線が決まる。最小値 n·s_y^2(1-r^2) が 0 以上であることから |r|<=1 が従う

④ (3) 符号を見る。 $Q$ は2乗の和だから、その最小値も $0$ 以上である。

$n s_{y}^{2} (1 - r^{2}) \geq 0$

$n > 0$ 、 $s_{y}^{2} > 0$ だから $1 - r^{2} \geq 0$ 、すなわち $- 1 \leq r \leq 1$ 。

等号 $r = \pm 1$ は $Q_{m i n} = 0$ のとき、つまり残差がすべて $0$ のときである。これはすべての点が1本の直線 $y = a x + b$ の上に乗ることを意味する( $a$ の符号は $r$ の符号と一致する)。

まとめ: 2変数の最小化も「1つずつ平方完成」で片づく。そして最小値の式 $n s_{y}^{2} (1 - r^{2})$ が、相関係数の性質( $- 1 \leq r \leq 1$ 、 $\pm 1$ は直線上)を一気に説明してくれる。

発展 — 一歩先へ。 (2)を書き直すと

$r^{2} = 1 - \frac{Q _{m i n}}{n s _{y}^{2}}$

となる。 $n s_{y}^{2}$ は「 $y$ の散らばりの総量」、 $Q_{m i n}$ は「直線で説明しきれなかった残り」である。したがって $r^{2}$ は「 $y$ の散らばりのうち、 $x$ で説明できる割合」を表している。

統計学ではこれを決定係数と呼ぶ。 $r = 0.9$ なら $r^{2} = 0.81$ で「 $81%$ 説明できた」と読む。相関係数を「 $0.9$ もあるから強い」と眺めるのではなく、2乗して「説明できた割合」として読む — この習慣を持つと、 $r = 0.7$ ( $r^{2} = 0.49$ )がそれほど強くないことも見えてくる。

答

(1) $a = \frac{s _{x y}}{s _{x}^{2}}$ 、 $b = \overset{y}{ˉ} - a \overset{x}{ˉ}$ (直線は点 $(\overset{x}{ˉ}, \overset{y}{ˉ})$ を通る) (2) 平方完成2回 (3) $Q \geq 0$ より $1 - r^{2} \geq 0$ 。 $r = \pm 1$ は全点が1直線上にあるとき

別解

先に標準化してしまう(高い視点)。 $x$ と $y$ を標準化しておくと、話がずっと透明になる。

$u_{i} = \frac{x _{i} - x ˉ}{s _{x}}, v_{i} = \frac{y _{i} - y ˉ}{s _{y}}$

とおくと、 $u$ も $v$ も平均 $0$ 、分散 $1$ である。そして

$\frac{1}{n} \sum u_{i} v_{i} = \frac{1}{n} \sum \frac{( x _{i} - x ˉ ) ( y _{i} - y ˉ )}{s _{x} s _{y}} = \frac{s _{x y}}{s _{x} s _{y}} = r$

相関係数とは「標準化した2つの積の平均」だったのだ。

ここで「 $v$ を $t u$ で近似したときの残差の2乗の平均」を考える。

$\frac{1}{n} \sum (v_{i} - t u_{i})^{2} = \frac{1}{n} \sum v_{i}^{2} - 2 t \cdot \frac{1}{n} \sum u_{i} v_{i} + t^{2} \cdot \frac{1}{n} \sum u_{i}^{2} = 1 - 2 r t + t^{2} = (t - r)^{2} + 1 - r^{2}$

左辺は2乗の平均だから $0$ 以上である。したがって、どんな実数 $t$ に対しても

$(t - r)^{2} + 1 - r^{2} \geq 0$

$t = r$ とすれば $1 - r^{2} \geq 0$ 、すなわち $- 1 \leq r \leq 1$ が即座に出る。

さらに、この式は最良の傾きが $t = r$ であること(標準化した世界では傾きがそのまま相関係数になる)、そのときの残差の2乗の平均が $1 - r^{2}$ であることまで一度に語っている。 $r = \pm 1$ のときだけ残差が $0$ 、つまり全点が直線上だ。

標準化すると $s_{x}$ や $s_{y}$ が式から消える。これが「相関係数は単位のとり方によらない」ことの正体でもある。センチメートルで測ろうがインチで測ろうが、 $r$ は動かない。

ポイント

$b$ の平方完成で、直線が $(\overset{x}{ˉ}, \overset{y}{ˉ})$ を通ることが出る。
$a$ の平方完成で $a = \frac{s _{x y}}{s _{x}^{2}}$ 、最小値 $n s_{y}^{2} (1 - r^{2})$ 。
$Q \geq 0$ だから $r^{2} \leq 1$ 。等号は全点が直線上。

よくある間違い

$Q$ を $a$ と $b$ の2変数のまま扱おうとして詰まる。片方を固定して1つずつ平方完成すればよい。まず $b$ 、次に $a$ の順が楽である。
「残差」を点から直線までの垂直距離(最短距離)だと思う。ここで最小化しているのは縦方向のずれ $y_{i} - (a x_{i} + b)$ の2乗和である。垂直距離で測ると、別の直線が最適になる。
(3)で $s_{y}^{2} > 0$ の条件を落とす。 $y$ がすべて同じ値だと $s_{y} = 0$ で、そもそも相関係数が定義できない。分母が $0$ になる場合を除くのは、相関を扱うときの大前提である。