忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【DS検定対策】知識の「リサイクル」!転移学習の2大ステップ

ゼロからAIを育てるのは大変。だから「他のタスクで学んだ基礎知識」を流用する。それが転移学習(Transfer Learning)です。

1. 【 問題 】

転移学習(移転学習)のプロセスに関する次の記述の、[   ] に当てはまる適切な語句の組み合わせはどれでしょうか?

「転移学習において、移転元での最初の学習は [   A   ] と呼ばれ、その獲得した知識(重み)をベースに、移転先(特定のタスク)に合わせて追加で行う学習は [   B   ] と呼ばれる。」

① A:ファインチューニング   B:事前学習
② A:事前学習   B:ファインチューニング
③ A:アンサンブル学習   B:蒸留
④ A:データ拡張   B:正規化


2. 【 解答 】

正解: ② A:事前学習   B:ファインチューニング

3. 整理:移転元と移転先の「役割分担」

この2つのステップを、人間の学習に例えて整理してみましょう。

【 転移学習のステップ 】

移転元: [ 事前学習 ] (義務教育)
 大量の一般的なデータを使って、基礎的な「特徴の掴み方」を幅広く学ぶ。
 (例:画像認識なら、膨大な写真から「輪郭」や「色」の概念を理解する)

移転先: [ ファインチューニング ] (専門教育)
 事前学習済みのモデル(知識)を引き継ぎ、解きたい特定のタスク用の少量のデータで微調整する。
 (例:医療画像から「特定の病変」を見つける専用AIに仕上げる)

--------------------------

このアプローチの利点:
移転先で用意するデータが少量であっても、事前学習で培った「基礎体力」があるため、高精度なモデルを短時間で開発できます。

4. 覚えておきたい周辺用語

1. 特徴量抽出(Feature Extraction): 事前学習済みモデルの「重み」を一切変えず(フリーズさせ)、出力層の直前のデータを特徴量として別の機械学習モデル(SVMなど)に投入する手法。ファインチューニングと並ぶ転移学習の代表例です。
2. 負の転移(Negative Transfer): 移転元のタスクと移転先のタスクが違いすぎる(例:テキスト学習の知識を株価予測に使うなど)ために、かえって精度が下がってしまう現象。


5. DS検定形式:実戦4択クイズ

問:転移学習において、ファインチューニングを行う際、事前学習で得られたモデルの初期層(入力に近い層)のパラメーター(重み)を変更しないように固定する操作を何と呼ぶか。

① ドロップアウト   ② 標準化   ③ フリーズ(凍結)   ④ 正則化

【 正解: ③ 】

解説: 一般的な特徴(エッジや色の変化など)を捉える初期層の知識はそのまま流用した方が効率が良いため、重みを変化させないように「フリーズ」させることがよくあります。


6. まとめ

DS検定において「移転元での学習 = 事前学習」「移転先での学習 = ファインチューニング」という組み合わせは、ディープラーニング全般(画像・自然言語処理)を支える大前提の知識です。それぞれの目的の違いをしっかりと頭に入れておきましょう!

PR

【DS検定対策】指示に従う「汎用AI」を作る!インストラクションチューニング

特定の専門分野に特化するのではなく、「人間のあらゆる『指示(命令)』に正しく従う能力」そのものを高める学習手法。それがインストラクションチューニングです。

1. 【 問題 】

大規模言語モデル(LLM)において、教師付きファインチューニング(SFT)の枠組みを用いながら、特定のタスクやドメインに限定せず、多種多様な「指示(命令)と回答」のペアを学習させることで、未知のタスクに対する汎用的な追従能力を高める手法を何と呼ぶでしょうか?

① コンテキスト学習(In-Context Learning)
② インストラクションチューニング
③ 継続事前学習(Continual Pre-training)
④ 報酬モデル学習


2. 【 解答 】

正解: ② インストラクションチューニング

3. 整理:「特化型ファインチューニング」との違い

従来のファインチューニングと、インストラクションチューニングでは、目指すゴールが異なります。

【 アプローチの比較 】

従来のファインチューニング(特化型)
 特定のタスク(例:感情分析のデータだけ)を大量に学習。
 ⇒ 感情分析は超得意になるが、他のことはできなくなる。

インストラクションチューニング(汎用型)
 「〜を要約して」「〜のコードを書いて」「〜を英語にして」など、異なる形式の指示を数万〜数十万パターン同時に学習。
 ⇒ 「指示文の意図を汲み取る力」が鍛えられるため、学習していない新しい指示を出されても柔軟に対応できるようになります。

4. なぜこれが重要なのか?

1. ゼロショット学習能力の向上: 事前にやり方の例(Few-shot)を提示しなくても、プロンプトで「〜してください」と指示するだけで、一発でタスクをこなせる(Zero-shot)ようになります。
2. LLMの製品化に不可欠: ChatGPTやClaudeなどのチャットAIが、ユーザーのどんな無茶振りにもそれっぽく答えてくれるのは、このチューニングが施されているおかげです。


5. DS検定形式:実戦4択クイズ

問:インストラクションチューニングを行う際、モデルに与えるデータセットの構成として最も適切なものはどれか。

① 単語とその意味が対になった辞書データ
② インターネットからスクレイピングした生のWebテキスト
③ 多種多様なタスクに対する「指示文」と「その模範回答」のペア
④ ユーザーのクリック履歴や購入履歴のログ

【 正解: ③ 】

解説: 「指示(Instruction)」とその「応答(Response)」のペアが並んだデータセットを使用します。これにより、AIは「命令の型」を学習します。


6. まとめ

DS検定において「教師付きファインチューニングの中で」「特定のタスクに特化せず能力を高める」という表現が出たら「インストラクションチューニング」です。LLMがこれほど便利に使えるようになった歴史的ブレイクスルーの一つとして、しっかり押さえておきましょう!



【DS検定対策】AIに「対話の作法」を教え込む!教師付きファインチューニング(SFT)

インターネット全体の知識を詰め込んだだけのAIに、「質問されたら、正しい指示に従って回答する」という対話能力を身につけさせるプロセス、それがSFTです。

1. 【 問題 】

大規模言語モデル(LLM)の学習において、事前学習済みのモデルに対して、特定のタスク(要約、翻訳、対話など)や望ましい出力を学習させるため、人間が作成した高品質な「指示と正解のペア(プロンプトとレスポンス)」を用いて追加学習を行う手法を何と呼ぶでしょうか?

① 事前学習(Pre-training)
② 教師付きファインチューニング(SFT)
③ 報酬モデルの学習
④ 知識留(Distillation)


2. 【 解答 】

正解: ② 教師付きファインチューニング(SFT)

3. 整理:LLMが「アシスタント」になるまでの2段階

生成AI(ChatGPTなど)が使えるようになるまでには、大きな2つの学習ステップがあります。

【 事前学習とSFTの違い 】

ステップ1:事前学習(巨大な燃料)
 ウェブ上の膨大なテキストを読み込み、「次に来る単語を予測する」能力だけを鍛える。
 例:「日本の首都は」→「東京です」だけでなく「どこでしょう?」と勝手に問題を作ってしまうことも。

ステップ2:SFT(対話の型を教える)
 人間が作った「模範解答」を読ませて、指示に従う態度を学ばせる。
 データ例:
 [指示] 日本の首都を教えてください。
 [正解] 日本の首都は東京です。

--------------------------

ポイント:
SFTを行うことで、AIは単なる「文章の続きを予測する機械」から、私たちの「有能なアシスタント(Instruction-tunedモデル)」へと進化します。

4. SFTの特徴と課題

1. 高品質なデータが必要: データの「量」よりも、人間が丁寧に作った「質(正確性や丁寧さ)」がモデルの賢さを左右します。
2. コストの壁: 人間(アノテーター)が大量の指示文と模範解答をゼロから作成するため、人件費と時間が非常にかかります。


5. DS検定形式:実戦4択クイズ

問:大規模言語モデル(LLM)のチューニングにおいて、SFT(教師付きファインチューニング)の次に行われる、人間の好みにさらに近づけるための強化学習手法はどれか。

① RAG   ② CNN   ③ RLHF   ④ BERT

【 正解: ③ 】

解説: SFTで「対話の基本形」を学んだAIに対して、さらに「人間にとってどれがより心地よい回答か」を微調整するのが、以前学んだ「RLHF」です。この順番(事前学習 → SFT → RLHF)はセットで頻出です。


6. まとめ

DS検定において「事前学習済みモデルに足して」「人間が作成した正解応答や指示に従い学習させる」という記述が出たら「教師付きファインチューニング(SFT)」です。チャットAI開発の根幹をなすプロセスとして、確実に理解しておきましょう!

【DS検定対策】少ないデータで過学習を防ぐ!「データ拡張」の手法

AIの学習には大量のデータが必要ですが、現実には十分なデータが集まらないことも。そんな時にデータを賢く「水増し」するのがデータ拡張です。

1. 【 問題 】

機械学習(特に深層学習)において、手元にある限られた教師データを加工・変形(回転、反転、拡大縮小など)することで、実質的にデータの種類や量を増やし、過学習を防ぐ手法を何と呼ぶでしょうか?

① データリーケージ
② データ拡張(データオーグメンテーション)
③ アンサンブル学習
④ 次元圧縮


2. 【 解答 】

正解: ② データ拡張(データオーグメンテーション)

3. 整理:画像認識における代表的な「水増し」手法

データ拡張は、元のデータが持つ「答え(ラベル)」を変えずに、見た目だけを変化させるのがポイントです。

【 よく使われる加工パターンの例 】

幾何学的変換
 左右反転(フリップ)、回転、拡大・縮小、トリミング(切り抜き)

色調変換
 明るさの変更、コントラストの調整、ノイズの追加

--------------------------

なぜこれで精度が上がるのか?
AIに「横を向いた猫」や「少し暗い場所にいる猫」の画像も同時に学習させることで、カメラの角度や照明条件が変わっても正しく認識できる「頑健(ロバスト)なモデル」に育つためです。

4. データ拡張の注意点(ドメイン知識の重要性)

何でもかんでも変形すれば良いわけではありません。データの本質(意味)を壊さない加工を選ぶ必要があります。
(例)手書き数字の「6」を180度回転させると「9」になってしまい、正解ラベルが変わってしまうため、数字認識での大幅な回転は不適切となります。


5. DS検定形式:実戦4択クイズ

問:2つの異なる画像(例えば犬と猫)を、ある割合で不透明度を変えて重ね合わせ、ラベルもその割合に応じてブレンド(例:犬0.5、猫0.5)する、ユニークなデータ拡張手法を何と呼ぶか。

① Dropout   ② Batch Normalization   ③ Mixup   ④ Data Cleansing

【 正解: ③ 】

解説: 画像同士を混ぜ合わせるデータ拡張手法を「Mixup」と呼びます。モデルの決定境界が滑らかになり、未知のデータに対して過剰に自信を持った誤判定をするのを防ぐ効果があります。


6. まとめ

DS検定において「データの水増し」「既存のデータを変形して生成」という記述が出たら「データ拡張」です。過学習(過剰適合)を防ぐための強力な前処理テクニックとして、その目的と具体的な加工方法を覚えておきましょう!

【DS検定対策】AIの表現力を高める工夫!「派生変数」の作り方

元のデータをそのままAIに投入するのではなく、組み合わせて「新しい意味を持つ変数」を作る。これが特徴量エンジニアリングの基本である派生変数です。

1. 【 問題 】

データ分析の前処理(特徴量エンジニアリング)において、既存の複数の変数(特徴量)を組み合わせたり、計算処理を行ったりすることで新しく導出される変数のことを何と呼ぶでしょうか?

① 目的変数
② 派生変数(派生特徴量)
③ ダミー変数
④ 潜在変数


2. 【 解答 】

正解: ② 派生変数(派生特徴量)

3. 整理:なぜ「計算してわざわざ増やす」のか?

元のデータ(生データ)だけでは、AIがその本質的な関係性を学習するのに膨大な時間がかかる(あるいは学習できない)ことがあります。あらかじめ人間が計算してあげることで、モデルの予測精度が大きく向上します。

【 よくある派生変数の具体例 】

「身長」と「体重」から導出
 → BMI = 体重(kg) ÷ 身長(m)の2乗

「売上額」と「客数」から導出
 → 客単価 = 売上額 ÷ 客数

「生年月日」から導出
 → 現在の年齢、生まれた曜日、星座など

--------------------------

ポイント: ドメイン知識(業務知識)を活かして、「どんな派生変数を作るか」がデータサイエンティストの腕の見せ所になります。

4. 派生変数を作る際の注意点

1. 多重共線性(マルチコ): 元の変数と派生変数の間で強い相関が生まれるため、線形回帰など一部のモデルでは計算が不安定になる原因になります。
2. データリーケージ(情報の漏洩): 未来のデータを使って派生変数を作ってしまうと、予測モデルが不正解をカンニングした状態になってしまうため注意が必要です。


5. DS検定形式:実戦4択クイズ

問:派生変数の一種で、カテゴリ変数(「東京」「大阪」など)を機械学習モデルが処理できるように、0と1だけで表した変数のことを何と呼ぶか。

① 目的変数   ② 説明変数   ③ ダミー変数   ④ 連続変数

【 正解: ③ 】

解説: カテゴリをフラグ化(One-Hotエンコーディング)したものは「ダミー変数」と呼ばれ、これも立派な派生変数の一種です。


6. まとめ

DS検定において「他の変数から導出できる変数」「組み合わせて作る特徴量」という記述が出たら「派生変数」です。データの組み合わせによって、AIに新しい視点を提供する技術として押さえておきましょう!