【DS検定対策】指示に従うAIを育てる！「インストラクションチューニング」の仕組み
大量のテキストから「次の単語を予測する」ことだけを学んだ事前学習直後のLLM（大規模言語モデル）は、そのままでは人間と自然に会話したり命令に従ったりすることができません。AIに「人間の指示に的確に従って回答する能力」を与えるための重要な学習プロセスが「インストラクションチューニング（Instruction Tuning）」です！
1. 【 問題 】
大規模言語モデル（LLM）の学習プロセスにおいて、人間が作成した「指示（プロンプト）」と「それに対する望ましい応答（回答）」のペアデータを用いてモデルを微調整し、ユーザーの命令や意図に沿った応答ができるようにする手法を何と呼ぶでしょうか？
① インストラクションチューニング（Instruction Tuning）
② 自己教師あり学習（Self-Supervised Learning）
③ 強化学習（Reinforcement Learning）
④ 検索拡張生成（RAG）
2. 【 解答 】
3. 整理：事前学習モデルとの違い
インストラクションチューニング（別名：SFT / 教師あり微調整）の有無によって、AIの振る舞いは大きく変わります。
| モデルの状態 | 学習データ | 「日本の首都は？」と聞いた時の反応 |
|---|---|---|
| ベースモデル （事前学習のみ） |
ネット上の生データ （文章の続き予測） |
「日本の首都は？ アメリカの首都は？ フランスの首都は？…」と、クイズの続きを延々と並べ立ててしまう。 |
| チューニング後 （Instruction Tuning） |
「指示と回答のペア」 （教師ありデータ） |
「日本の首都は東京です。」と、質問の意図を汲み取って端的に回答する。 |
4. 生成AI開発の3つのステップ
Step 1：事前学習（Pre-training）
・膨大なテキストを読み込み、言葉のルールや世の中の知識という「基礎体力」をつける。
Step 2：インストラクションチューニング（SFT） ★今回のお題！
・質問と回答のペアを学習させ、「人間の指示に従って受け答えするスタイル」を叩き込む。
Step 3：RLHF（人間からのフィードバックによる強化学習）
・人間の好みや倫理観に合わせて、より安全で高品質な出力になるよう最終調整を行う。
5. DS検定形式：実戦4択クイズ
問：大規模言語モデル（LLM）におけるインストラクションチューニングに関する記述として、最も適切なものはどれか。
① ラベルのない膨大なテキストデータから確率的に次の単語を予測させることで、モデルの基礎的な言語能力を養う教師なし学習の手法である。
② 人間が作成した「指示と回答」のペアデータを用いてモデルを微調整（SFT）し、多様なタスクやプロンプトの意図に沿って回答できるようにする手法である。
③ モデルの出力に対して人間が報酬を与え、その報酬を最大化するように強化学習を行うことで有害な出力を防ぐ手法である。
④ 外部のデータベースから検索した関連文書をプロンプトに動的に埋め込み、ハルシネーションを抑制する技術である。
【 正解： ② 】
解説： インストラクションチューニングの定義を問う標準問題です。
②が正解です。指示と回答のペアを用いた教師あり微調整（SFT）です。
①は「事前学習」、③は「RLHF」、④は「RAG」の説明です。
6. まとめ
DS検定や資格試験で「人間が準備した質問と回答のペア」「指示に従うようにファインチューニング」「SFT（教師あり微調整）」といったキーワードが出たら、正解は「インストラクションチューニング」です！ 事前学習との違いや、AI開発のステップとあわせてしっかり押さえておきましょう！
