【DS検定対策】指示に従うAIを作る！「インストラクションチューニング」の仕組み
事前学習（Pre-training）を終えたばかりのLLM（大規模言語モデル）は、単に「文章の続きを予測・補完する」ことしかできません。これに対し、「人間の指示に的確に従って回答する能力」を与えるための重要な学習プロセスが「インストラクションチューニング（Instruction Tuning）」です！
1. 【 問題 】
LLM（大規模言語モデル）の学習プロセスにおいて、人間が準備した「指示（Instruction）」と「理想的な応答（Output）」のペアデータを学習させ、ユーザーの意図や命令に従って適切に応答できるように微調整する手法を何と呼ぶでしょうか？
① インストラクションチューニング（Instruction Tuning）
② 事前学習（Pre-training）
③ 事後学習（Post-training）なしのゼロショット学習
④ 継続的事前学習（Continued Pre-training）
2. 【 解答 】
3. 整理：ベースモデルと指示応答モデルの違い
事前学習のみを行ったモデル（ベースモデル）と、インストラクションチューニングを施したモデルでは、同じ入力に対する挙動が全く異なります。
| モデルの段階 | 学習データの形式 | 「日本の首都は？」と入力した時の反応 |
|---|---|---|
| ベースモデル （事前学習のみ） |
Web上の大量の生テキスト （単語の穴埋め・続き予測） |
「日本の首都は？ アメリカの首都は？ フランスの首都は？…」と、問題文の続き（クイズの列挙など）を予測・出力してしまう。 |
| 指示応答モデル （Instruction Tuning後） |
「指示」と「回答」のペア （教師ありデータセット） |
「日本の首都は東京です。」と、指示を理解して正確な回答を返す。 |
4. LLM開発の3ステップ（全体像の中での位置づけ）
生成AI（LLM）が完成するまでには、一般的に以下の3つの大きなステップを踏みます。
・ネット上の数兆トークンの文章を読み込み、言語の文法や世の中の知識を学ぶ（基礎体力をつける）。
Step 2：インストラクションチューニング（SFT） ★今回のお題！
・「指示と回答のペア」を数万〜数十万件学習させ、「命令に従って応答するスタイル」を身につける。
Step 3：RLHF / DPO（人間のフィードバックによる学習）
・人間の好みや安全性（有害な出力をしない等）に合わせて回答の質や振る舞いを最終微調整する。
5. DS検定形式：実戦4択クイズ
问：大規模言語モデル（LLM）における「インストラクションチューニング（Instruction Tuning）」に関する記述として、最も適切なものはどれか。
① インターネット上のラベルのない大量のテキストデータを使い、次の単語を予測する自己教師あり学習の手法である。
② 「指示文」と「それに対する適切な応答文」のペアデータを用いてモデルを微調整し、様々なタスクや命令に意図通り従う能力を向上させる手法である。
③ モデルの出力結果に対して人間が評価（報酬）を与え、強化学習を用いてモデルの安全性を向上させる手法である。
④ 外部のデータベースから関連文書を検索・取得し、それをプロンプトに含めて回答を生成させる手法である。
【 正解： ② 】
解説： インストラクションチューニングの定義を問う標準問題です。
②が正解です。指示と回答のペアデータを用いた教師ありファインチューニング（SFT）です。
①は「事前学習（Pre-training）」の説明です。
③は「RLHF（Reinforcement Learning from Human Feedback）」の説明です。
④は「RAG（検索拡張生成）」の説明です。
6. まとめ
DS検定や資格試験で「指示と応答のペア」「SFT（教師あり微調整）」「指示に従う能力の獲得」「ベースモデルからの対話モデル化」といったキーワードが出たら、正解は「インストラクションチューニング」です！ 単なる文章補完（事前学習）から対話型AI（ChatGPT等）へ橋渡しをする超重要技術として、全体の学習ステップと一緒に押さえておきましょう！
