内積(成分)

方針

解答

⓪ 発想 — どう考え始めるか。 内積は、成分どうしを掛けて足す。

$$\vec{a}\cdot \vec{b}=a_1{b}_1+a_2{b}_2=1\times 3+2\times 4=3+8=11$$

計算そのものは、簡単だ。

だが、$1$ つ気をつけてほしいことがある。

内積の答えは、ベクトルではない。ただの数(スカラー)だ。

$$\vec{a}\cdot \vec{b}=11(\text{矢印ではなく、数})$$

ベクトルどうしを掛けたのに、答えがベクトルでなくなる。 ここが不思議なところである。

「$2$ つの矢印から、$1$ つの数を作る」

それが内積という演算だ。

では、その数は何を意味するのか。

それは、次の問題(定義 $|\vec{a}||\vec{b}|\cos \theta$)で明かされる。

まずは「成分の積の和」という計算規則を、確実に身につけよう。

成分どうしをかけて足す。

$$\vec{a}\cdot \vec{b}=1\cdot 3+2\cdot 4=3+8=11$$

まとめ:内積は「成分どうしの積の和」。$x$ 成分の積 + $y$ 成分の積。結果はベクトルではなく数(スカラー)になる。なす角や垂直判定の土台だ。

発展 — 一歩先へ。 内積は「$2$ つの向きが、どれくらい似ているか」を測る。この性質が、現代のAIを支えている。

言葉を、ベクトルにする。

自然言語処理では、単語をベクトルとして表現する(単語埋め込み)。

$$\text{「王」}=(0.2,0.8,-0.3,\dots )$$ $$\text{「女王」}=(0.3,0.7,-0.2,\dots )$$

(実際には $300$ 次元くらいのベクトルを使う。)

似た意味の単語は、似た向きのベクトルになるように学習させる。

そして、「意味の近さ」を、内積(を正規化したコサイン類似度)で測る。

$$\cos \theta =\frac{\vec{a}\cdot \vec{b}}{|\vec{a}||\vec{b}|}$$

• $\cos \theta \approx 1$ → 向きがほぼ同じ → 意味が近い
• $\cos \theta \approx 0$ → 垂直 → 無関係
• $\cos \theta \approx -1$ → 逆向き → 反対の意味

「王」と「女王」の内積は大きい。 「王」と「バナナ」の内積は、ほぼ $0$。

さらに、有名な例がある。

$$\text{「王」}-\text{「男」}+\text{「女」}\approx \text{「女王」}$$

ベクトルの引き算と足し算で、意味の演算ができてしまう。

「男から女への変化」というベクトルが、「王から女王への変化」と同じ向きを向いている。

これは、単語をベクトルにしたときに、"意味の構造"が幾何的な構造として現れることを示している。

そして、検索エンジンも、この原理で動いている。

あなたの検索クエリをベクトルにし、膨大な文書のベクトルとの内積を計算する。

内積が大きい($=$ 向きが似ている)文書を、上位に表示する。

「検索」とは、$300$ 次元空間で、あなたのベクトルにいちばん近い方向を向いた文書を探す作業なのだ。

画像認識でも、推薦システムでも、同じことが起きている。

• 顔認証: 顔の特徴ベクトルの内積で、同一人物かを判定
• 推薦: あなたの好みベクトルと、商品ベクトルの内積が大きいものを勧める
• 翻訳: 意味ベクトルを、別の言語の空間に写す

$\vec{a}\cdot \vec{b}=a_1{b}_1+a_2{b}_2$

この、掛けて足すだけの単純な計算。

それが、$1$ 秒間に何十億回も実行されて、AIの「理解」を支えている。

内積とは、「似ている」を数値化する装置なのだ。

別解

内積を、余弦定理から導く。「なぜ積の和なのか」の答えがここにある。

内積の定義は、本来こちらだ。

$$\vec{a}\cdot \vec{b}=|\vec{a}||\vec{b}|\cos \theta$$

では、なぜ「成分の積の和」で計算できるのか。

余弦定理を使うと、その橋渡しができる。

$\vec{a}$、$\vec{b}$ を $2$ 辺とする三角形を考える。 残りの辺は $\vec{b}-\vec{a}$ だ。

余弦定理より

$$|\vec{b}-\vec{a}{|}^2=|\vec{a}{|}^2+|\vec{b}{|}^2-2|\vec{a}||\vec{b}|\cos \theta$$

最後の項に、内積が隠れている。

$$|\vec{b}-\vec{a}{|}^2=|\vec{a}{|}^2+|\vec{b}{|}^2-2\vec{a}\cdot \vec{b}$$

内積について解く。

$$\boxed{\vec{a}\cdot \vec{b}=\frac{|\vec{a}{|}^2+|\vec{b}{|}^2-|\vec{a}-\vec{b}{|}^2}{2}}$$

この式で、実際に計算してみよう。

$$\vec{a}=(1,2),\vec{b}=(3,4),\vec{a}-\vec{b}=(-2,-2)$$

$$|\vec{a}{|}^2=1+4=5$$ $$|\vec{b}{|}^2=9+16=25$$ $$|\vec{a}-\vec{b}{|}^2=4+4=8$$

$$\vec{a}\cdot \vec{b}=\frac{5+25-8}{2}=\frac{22}{2}=11$$

$11$! 本解と同じ答え ✓

「成分の積の和」という計算規則が、余弦定理から出てきた。

もう少し詳しく見よう。 一般に

$$|\vec{a}{|}^2+|\vec{b}{|}^2-|\vec{a}-\vec{b}{|}^2=(a_1^2+a_2^2)+(b_1^2+b_2^2)-\left\{(a_1-b_1{)}^2+(a_2-b_2{)}^2\right\}$$

展開すると、$a_1^2$ や $b_1^2$ が打ち消し合って

$$=2a_1{b}_1+2a_2{b}_2$$

$2$ で割ると

$$\vec{a}\cdot \vec{b}=a_1{b}_1+a_2{b}_2$$

成分の公式が導けた!

「$|\vec{a}||\vec{b}|\cos \theta$」という幾何的な定義と、「$a_1{b}_1+a_2{b}_2$」という代数的な計算が、余弦定理を通してつながっている。

内積のもう $1$ つの顔 — 正射影。

$$\vec{a}\cdot \vec{b}=|\vec{a}|\times \left(|\vec{b}|\cos \theta \right)$$

カッコの中は、$\vec{b}$ を $\vec{a}$ の方向に影を落とした長さだ(正射影)。

「$\vec{a}$ の長さ $\times$ $\vec{b}$ の影の長さ」

内積は、$2$ つのベクトルが「どれくらい同じ方向を向いているか」を測っている。

• 同じ向き($\theta =0$)→ 影が最大 → 内積が最大
• 垂直($\theta =90^{\circ }$)→ 影がゼロ → 内積が $0$
• 逆向き($\theta =180^{\circ }$)→ 影が逆向き → 内積が負

「垂直なら内積 $0$」という規則の、幾何的な意味がこれだ。

影が消えるから、内積も消える。