第14章：トランスフォーマーの仕組み

第14章 · トランスフォーマーの仕組み

⚡ ChatGPT を動かす「トランスフォーマー」とは？

2017年に登場したTransformer（トランスフォーマー）は、AIの歴史を変えた。
文章を「並列処理」し、どの単語がどの単語に関係するかを一度に計算できる。
ChatGPT・Gemini・Claude すべてこの仕組みで動いている！✨

「猫が魚を食べた」— どの単語が重要？クリックして確認！

単語をクリックすると、その単語がどこに「注目」しているか表示されます

第14章 · Step 1/4

🔤 Step 1：文章をトークンに分割する

Transformerへの入力はまずトークン（Token）という単位に分割される。
英語なら単語・語尾、日本語は形態素や文字のかたまり。
各トークンは番号（ID）に変換されてモデルに入る！

トークン → ID

埋め込みベクトル（Embedding）— 意味を数値に変換

💡 GPT-4 は約10万種類のトークンを使用。
英語1単語 ≈ 1トークン、日本語1文字 ≈ 1〜3トークン。
各トークンは768〜4096次元のベクトルに変換される！

第14章 · Step 2/4

👁️ Step 2：Self-Attention — どの単語に注目するか

Transformerの核心はSelf-Attention（自己注意機構）。
各単語が文章全体の他の単語を「どれだけ参照するか」をスコアで表す。
「it」が「cat」を指すのか「mat」を指すのかを、文脈から判断できる！

👆 行の単語が「列の単語」にどれだけ注目しているかを表すヒートマップ

Q・K・V の仕組み（数学的な裏側）

🔍 Query (Q)

「私は何を探しているか？」
現在のトークンの質問

🗝️ Key (K)

「私はどんな情報を持つか？」
各トークンの特徴

📦 Value (V)

「実際に渡す情報」
Attentionスコアで重み付け

💡 Attention(Q,K,V) = softmax(QKᵀ/√d) × V
この計算を全トークンペアで同時並列に行える — これがTransformerの革命的な点！

第14章 · Step 3/4

📍 Step 3：位置情報 & Transformerの全体像

Attentionは順序を無視してしまう。そこでPositional Encoding（位置エンコーディング）でトークンの位置情報を追加する。
さらに複数の処理が積み重なって完成形になる！

📍 Positional Encoding（位置ごとのサイン波パターン）

🏗️ Transformerブロックの構造（クリックで説明）

🔤

Token Embedding

トークン → 高次元ベクトルに変換

📍

Positional Encoding

位置情報をベクトルに加算

👁️

Multi-Head Attention × 12〜96

複数の視点で文脈を並列処理

🔄

Feed Forward Network

各トークンを独立して変換

📊

Layer Norm + Residual

学習を安定させる正規化

🎯

Output (Linear + Softmax)

次のトークンの確率分布を出力

👆 ブロックをクリックすると詳細が表示されます！

第14章 · クイズ

📝 理解度チェック！

Q1. Transformerの「Self-Attention」が解決する問題は？ 🤔

計算速度を上げること

各単語が文章全体の他の単語との関係を学ぶこと

画像を認識すること

データを圧縮すること

🎉

第14章クリア！

Transformerの核心「Self-Attention」の
仕組みを掴んだ！

📚 今日学んだこと

文章はトークンに分割されて番号化される
各トークンは高次元ベクトルに変換（Embedding）
Self-Attentionで全単語ペアの関係を計算
Q（質問）・K（特徴）・V（情報）の3つのベクトルで実現
Positional Encodingで位置情報を付加する