← チャプター一覧
第15章 · LLMの仕組み
🤖 ChatGPT はどうやって文章を生成する？
LLM（大規模言語モデル）は数千億のパラメータを持つ巨大なTransformer。
その本質は驚くほどシンプル：「次に来る単語を予測する」を繰り返すだけ！
でもそれだけで、なぜこんなに賢いのか？謎を解こう 🔍
「The quick brown fox」の次の単語は？
👆 クリックして選ぶと続きが生成される！
The quick brown fox
第15章 · Step 1/4
🎯 Step 1：次のトークンを予測する確率分布
LLMは入力テキスト全体を見て、次のトークンの確率分布を出力する。
語彙全体（10万語）に対して確率が割り当てられ、最も確率が高い（or ランダムにサンプル）単語が選ばれる！
入力文脈: 「今日の天気は」 → 次の単語の確率は？
🎲 Temperature（創造性パラメータ）を変えてみよう
🥶 0.1 — 確定的
🌡️ 1.0 — バランス
🔥 2.0 — 創造的
💡 Temperature = 0.1: 毎回ほぼ同じ答え（事実確認に向く）
Temperature = 1.0: 自然な多様性
Temperature = 2.0: 驚くような（時に意味不明な）回答
第15章 · Step 2/4
📏 Step 2：スケールが全てを変える
LLMが賢い理由の一つは圧倒的なスケール。
モデルが大きくなるほど、予測精度が急激に向上する（スケーリング則）。
そして大量データで学習することで、知識が「記憶」される！
代表的なLLMのスケール比較
コンテキストウィンドウ — LLMが「一度に覚えられる」長さ
GPT-4: 128,000トークン ≈ 論文100本分
Claude 3: 200,000トークン ≈ 本1〜2冊分
第15章 · Step 3/4
🎓 Step 3：どうして「役に立つ」AIになるの？
素の言語モデルは「次の単語予測器」にすぎない。
RLHF（人間のフィードバックによる強化学習）で「人間に役立つ」回答をするよう調整する。
これがChatGPTやClaudeが会話できる理由！
🏋️ 学習の3ステップ（クリックで進む）
📚
① 事前学習（Pre-training）
インターネット上のテキスト数兆トークンで「次の単語予測」を学習
🎭
② 指示学習（Supervised Fine-tuning）
人間が書いた「良い回答」のサンプルでファインチューニング
👍
③ 報酬モデル学習（Reward Model）
人間が複数の回答をランキング → 「良さ」を予測する報酬モデルを作成
🚀
④ 強化学習（PPO）
報酬モデルのスコアを最大化するよう言語モデルをさらに調整
💬 実際に質問してみよう（LLMのデモ）
第15章 · クイズ
📝 理解度チェック！
Q1. LLMの基本的な動作原理は？ 🤔
質問に対して辞書を引く
次のトークン（単語）を繰り返し予測する
インターネットを検索する
人間の専門家に転送する
🎉

第15章クリア！

LLMの仕組みを根本から理解した！
これで第13〜15章の「AI三部作」完成！

📚 今日学んだこと

  • LLMの本質は「次のトークン予測」の繰り返し
  • Temperatureで出力のランダム性を制御できる
  • パラメータ数が多いほど能力が向上（スケーリング則）
  • コンテキストウィンドウが「一度に処理できる長さ」
  • RLHFで人間のフィードバックから「役立つAI」に調整
🚀 CS Adventure — 全15章完走おめでとう！
スイッチ → マトリクス → CPU → メモリ → ネットワーク → ブラウザ → AI まで、コンピュータの「なぜ？」を全部体験した。これを知っているあなたは、もうただのユーザーじゃない！