強化学習において、環境のモデル化によく用いられる「マルコフ決定過程（MDP）」の性質として、最も適切なものはどれでしょうか？
① 未来の状態は、過去のすべての状態と行動の履歴に基づいて決定される。
② 未来の状態は、現在の状態と選択した行動にのみ依存し、それ以前の過去の状態には依存しない。
③ 未来の状態は完全にランダムであり、現在の状態や行動からは一切予測できない。
④ 行動を選択しても状態は変化せず、報酬の額だけが確率的に変化する。
マルコフ決定過程では、エージェント（AI）と環境のやりとりを以下の4つの要素（セットで$S, A, P, R$と表記されます）で定義します。
【 MDPの基本要素 】
1. 方策（Policy: $\pi$）: ある状態のときに、どのような確率で行動を選ぶかという「AIの行動指針（戦略）」のことです。
2. 価値関数（Value Function）: 今の「状態」や「行動」が、将来的にどれくらい報酬をもたらしそうかという「先を見据えたスコア」です。
問：強化学習において、現在の状態と行動のみで次の状態が決まる「マルコフ決定過程」の前提が成り立たず、環境の一部しか観測できない複雑な状態をモデル化したものを何と呼ぶか。
① 動的計画法 ② 部分観測マルコフ決定過程（POMDP） ③ Qラーニング ④ モンテカルロ法
【 正解： ② 】
解説： 現実世界の「霧に隠れて先が見えない麻雀やポーカー」のように、状態の一部が隠されているモデルを「部分観測（Partially Observable）MDP」と呼び、応用問題として時折顔を出します。
DS検定において「未来の状態は現在の状態と行動に依存し、過去に依存しない」というフレーズが出たら、100%「マルコフ決定過程（MDP）」です。強化学習というゲームのルールブックを定義する言葉として、しっかり記憶に刻んでおきましょう！
]]>「DNA Classification Dataset」は、ゲノムデータ分析、機械学習、およびバイオインフォマティクス研究のために設計された、3,000個の合成DNAサンプルを含むデータセットです。データの主な仕様は以下の通りです。
通常のコンペと異なり、最初から特定のテストデータや単一のゴールが分かれて提供されているわけではありません。Kaggle側での自動採点もないため、手元にある3,000行のデータを自分で分割し、設定したタスクごとに交差検証（クロスバリデーション）によって手元で予測精度を評価・検証していく必要があります。
データの取得手順は以下の通りです。
展開すると、ディレクトリ内に「synthetic_dna_dataset.csv」ができます。
展開して得られたCSVファイルの中身を確認しました。このデータセットに含まれる13個のカラム一覧とそれぞれの解説は以下の通りです。
| カラム名 | 解説 |
|---|---|
| Sample_ID | 各DNAサンプルの固有の識別子（ID） |
| Sequence | DNAの配列データ（A, T, C, Gの文字列） |
| GC_Content | 配列中におけるグアニン（G）とシトシン（C）の割合（％） |
| AT_Content | 配列中におけるアデニン（A）とチミン（T）の割合（％） |
| Sequence_Length | 配列の総文字数（長さ） |
| Num_A | 配列中に含まれるアデニン（A）の個数 |
| Num_T | 配列中に含まれるチミン（T）の個数 |
| Num_C | 配列中に含まれるシトシン（C）の個数 |
| Num_G | 配列中に含まれるグアニン（G）の個数 |
| kmer_3_freq | 3文字の塩基トリプレット（3-mer）の平均出現頻度スコア |
| Mutation_Flag | 変異の有無を示すバイナリフラグ（0 = なし、1 = あり）。【予測ターゲット候補1：二値分類】 |
| Class_Label | サンプルの分類クラス（Human / Bacteria / Virus / Plant）。【予測ターゲット候補2：多値分類】 |
| Disease_Risk | サンプルに関連するリスクレベル（Low / Medium / High）。【予測ターゲット候補3：多値・順序分類】 |
このデータセットの特徴は、ゴールとなる目的変数を何に設定するかによって、全く異なる予測モデルの検証ができる点にあります。配列データや、あらかじめ計算されている塩基の個数などの特徴量をベースにして、どの予測タスクからアプローチするかを自由に選択できる構造になっています。
配列のゆらぎや塩基の統計的特徴を組み合わせることで、それぞれのターゲットに対してLightGBMがどのように境界線を学習するのか、切り口を変えて複数の検証を回せるデータ構成となっています。
あらかじめ塩基の個数や割合といった数値の特徴量が豊富に用意されているため、生の文字列（Sequence）を加工しなくても、初期の数値データだけでLightGBMに投入可能な構造になっています。まずはこの綺麗なデータセットが手元に用意できたので、ここからどのタスクの検証作業に入るかを決定します。
次は、これらの予測候補の中から最初のターゲットを決定し、交差検証を回すための前処理を進めていきます。
転移学習（移転学習）のプロセスに関する次の記述の、[ ] に当てはまる適切な語句の組み合わせはどれでしょうか？
「転移学習において、移転元での最初の学習は [ A ] と呼ばれ、その獲得した知識（重み）をベースに、移転先（特定のタスク）に合わせて追加で行う学習は [ B ] と呼ばれる。」
① A：ファインチューニング B：事前学習
② A：事前学習 B：ファインチューニング
③ A：アンサンブル学習 B：蒸留
④ A：データ拡張 B：正規化
この2つのステップを、人間の学習に例えて整理してみましょう。
【 転移学習のステップ 】
1. 特徴量抽出（Feature Extraction）: 事前学習済みモデルの「重み」を一切変えず（フリーズさせ）、出力層の直前のデータを特徴量として別の機械学習モデル（SVMなど）に投入する手法。ファインチューニングと並ぶ転移学習の代表例です。
2. 負の転移（Negative Transfer）: 移転元のタスクと移転先のタスクが違いすぎる（例：テキスト学習の知識を株価予測に使うなど）ために、かえって精度が下がってしまう現象。
問：転移学習において、ファインチューニングを行う際、事前学習で得られたモデルの初期層（入力に近い層）のパラメーター（重み）を変更しないように固定する操作を何と呼ぶか。
① ドロップアウト ② 標準化 ③ フリーズ（凍結） ④ 正則化
【 正解： ③ 】
解説： 一般的な特徴（エッジや色の変化など）を捉える初期層の知識はそのまま流用した方が効率が良いため、重みを変化させないように「フリーズ」させることがよくあります。
DS検定において「移転元での学習 ＝ 事前学習」「移転先での学習 ＝ ファインチューニング」という組み合わせは、ディープラーニング全般（画像・自然言語処理）を支える大前提の知識です。それぞれの目的の違いをしっかりと頭に入れておきましょう！
]]>大規模言語モデル（LLM）において、教師付きファインチューニング（SFT）の枠組みを用いながら、特定のタスクやドメインに限定せず、多種多様な「指示（命令）と回答」のペアを学習させることで、未知のタスクに対する汎用的な追従能力を高める手法を何と呼ぶでしょうか？
① コンテキスト学習（In-Context Learning）
② インストラクションチューニング
③ 継続事前学習（Continual Pre-training）
④ 報酬モデル学習
従来のファインチューニングと、インストラクションチューニングでは、目指すゴールが異なります。
【 アプローチの比較 】
1. ゼロショット学習能力の向上: 事前にやり方の例（Few-shot）を提示しなくても、プロンプトで「〜してください」と指示するだけで、一発でタスクをこなせる（Zero-shot）ようになります。
2. LLMの製品化に不可欠: ChatGPTやClaudeなどのチャットAIが、ユーザーのどんな無茶振りにもそれっぽく答えてくれるのは、このチューニングが施されているおかげです。
問：インストラクションチューニングを行う際、モデルに与えるデータセットの構成として最も適切なものはどれか。
① 単語とその意味が対になった辞書データ
② インターネットからスクレイピングした生のWebテキスト
③ 多種多様なタスクに対する「指示文」と「その模範回答」のペア
④ ユーザーのクリック履歴や購入履歴のログ
【 正解： ③ 】
解説： 「指示（Instruction）」とその「応答（Response）」のペアが並んだデータセットを使用します。これにより、AIは「命令の型」を学習します。
DS検定において「教師付きファインチューニングの中で」「特定のタスクに特化せず能力を高める」という表現が出たら「インストラクションチューニング」です。LLMがこれほど便利に使えるようになった歴史的ブレイクスルーの一つとして、しっかり押さえておきましょう！
大規模言語モデル（LLM）の学習において、事前学習済みのモデルに対して、特定のタスク（要約、翻訳、対話など）や望ましい出力を学習させるため、人間が作成した高品質な「指示と正解のペア（プロンプトとレスポンス）」を用いて追加学習を行う手法を何と呼ぶでしょうか？
① 事前学習（Pre-training）
② 教師付きファインチューニング（SFT）
③ 報酬モデルの学習
④ 知識留（Distillation）
生成AI（ChatGPTなど）が使えるようになるまでには、大きな2つの学習ステップがあります。
【 事前学習とSFTの違い 】
1. 高品質なデータが必要: データの「量」よりも、人間が丁寧に作った「質（正確性や丁寧さ）」がモデルの賢さを左右します。
2. コストの壁: 人間（アノテーター）が大量の指示文と模範解答をゼロから作成するため、人件費と時間が非常にかかります。
問：大規模言語モデル（LLM）のチューニングにおいて、SFT（教師付きファインチューニング）の次に行われる、人間の好みにさらに近づけるための強化学習手法はどれか。
① RAG ② CNN ③ RLHF ④ BERT
【 正解： ③ 】
解説： SFTで「対話の基本形」を学んだAIに対して、さらに「人間にとってどれがより心地よい回答か」を微調整するのが、以前学んだ「RLHF」です。この順番（事前学習 → SFT → RLHF）はセットで頻出です。
DS検定において「事前学習済みモデルに足して」「人間が作成した正解応答や指示に従い学習させる」という記述が出たら「教師付きファインチューニング（SFT）」です。チャットAI開発の根幹をなすプロセスとして、確実に理解しておきましょう！
]]>機械学習（特に深層学習）において、手元にある限られた教師データを加工・変形（回転、反転、拡大縮小など）することで、実質的にデータの種類や量を増やし、過学習を防ぐ手法を何と呼ぶでしょうか？
① データリーケージ
② データ拡張（データオーグメンテーション）
③ アンサンブル学習
④ 次元圧縮
データ拡張は、元のデータが持つ「答え（ラベル）」を変えずに、見た目だけを変化させるのがポイントです。
【 よく使われる加工パターンの例 】
何でもかんでも変形すれば良いわけではありません。データの本質（意味）を壊さない加工を選ぶ必要があります。
（例）手書き数字の「6」を180度回転させると「9」になってしまい、正解ラベルが変わってしまうため、数字認識での大幅な回転は不適切となります。
問：2つの異なる画像（例えば犬と猫）を、ある割合で不透明度を変えて重ね合わせ、ラベルもその割合に応じてブレンド（例：犬0.5、猫0.5）する、ユニークなデータ拡張手法を何と呼ぶか。
① Dropout ② Batch Normalization ③ Mixup ④ Data Cleansing
【 正解： ③ 】
解説： 画像同士を混ぜ合わせるデータ拡張手法を「Mixup」と呼びます。モデルの決定境界が滑らかになり、未知のデータに対して過剰に自信を持った誤判定をするのを防ぐ効果があります。
DS検定において「データの水増し」「既存のデータを変形して生成」という記述が出たら「データ拡張」です。過学習（過剰適合）を防ぐための強力な前処理テクニックとして、その目的と具体的な加工方法を覚えておきましょう！
]]>データ分析の前処理（特徴量エンジニアリング）において、既存の複数の変数（特徴量）を組み合わせたり、計算処理を行ったりすることで新しく導出される変数のことを何と呼ぶでしょうか？
① 目的変数
② 派生変数（派生特徴量）
③ ダミー変数
④ 潜在変数
元のデータ（生データ）だけでは、AIがその本質的な関係性を学習するのに膨大な時間がかかる（あるいは学習できない）ことがあります。あらかじめ人間が計算してあげることで、モデルの予測精度が大きく向上します。
【 よくある派生変数の具体例 】
1. 多重共線性（マルチコ）: 元の変数と派生変数の間で強い相関が生まれるため、線形回帰など一部のモデルでは計算が不安定になる原因になります。
2. データリーケージ（情報の漏洩）: 未来のデータを使って派生変数を作ってしまうと、予測モデルが不正解をカンニングした状態になってしまうため注意が必要です。
問：派生変数の一種で、カテゴリ変数（「東京」「大阪」など）を機械学習モデルが処理できるように、0と1だけで表した変数のことを何と呼ぶか。
① 目的変数 ② 説明変数 ③ ダミー変数 ④ 連続変数
【 正解： ③ 】
解説： カテゴリをフラグ化（One-Hotエンコーディング）したものは「ダミー変数」と呼ばれ、これも立派な派生変数の一種です。
DS検定において「他の変数から導出できる変数」「組み合わせて作る特徴量」という記述が出たら「派生変数」です。データの組み合わせによって、AIに新しい視点を提供する技術として押さえておきましょう！
]]>関数 $f(x) = 1/x$ は、0に近づくときに「右側（正の数）」から近づくか、「左側（負の数）」から近づくかで結果が異なります。SymPyでは引数 dir を使ってこの方向を指定します。
特別な設定をせず、標準的な print 関数を使って結果を出力します。
# -*- coding: utf-8 -*-
from sympy import symbols, limit
def main():
# 変数xを定義
x = symbols('x')
# 関数 f(x) = 1/x の定義
f = 1 / x
# 右側極限 (x -> 0+)
limit_right = limit(f, x, 0, dir='+')
# 左側極限 (x -> 0-)
limit_left = limit(f, x, 0, dir='-')
print("--- f(x) = 1/x の極限計算 ---")
print(f"x -> 0+ (右側極限): {limit_right}")
print(f"x -> 0- (左側極限): {limit_left}")
if __name__ == "__main__":
main()
実行すると、以下のような結果が得られます。SymPyでは無限大（$\infty$）を oo（小文字のoが2つ）で表現します。
結果にある oo は正の無限大、-oo は負の無限大を意味しています。右から近づけばプラス無限に、左から近づけばマイナス無限に発散するという数学的な挙動が、たった数行のコードで確認できました。ゼロ除算エラーを気にせず数学的検証ができるSymPyは、エンジニアにとっても強力な武器になりますね。
偏微分とは、特定の変数だけに注目して微分し、それ以外の変数はすべて「定数（ただの数字）」として扱う計算です。
余計な装飾設定を省き、標準の print() 関数で結果を出力するシンプルな構成です。
# -*- coding: utf-8 -*-
from sympy import symbols, diff
def main():
# 1. 変数x, yを記号として定義
x, y = symbols('x y')
# 2. 関数の定義 f(x, y) = x^2 + 3 + y^4 + 5
f = x**2 + 3 + y**4 + 5
# 3. xおよびyで偏微分を実行
df_dx = diff(f, x)
df_dy = diff(f, y)
# 4. 結果を表示
print("--- xでの偏微分結果 ---")
print(df_dx)
print("\n--- yでの偏微分結果 ---")
print(df_dy)
if __name__ == "__main__":
main()
このコードを実行すると、コンソールには以下のように出力されます。*（掛け算）や **（累乗）がそのまま表示されるため、エンジニアにとって非常に直感的です。
SymPyのデフォルト出力は、Pythonのコードとしてそのまま通用する形式です。複雑な数式も、この形式で出力すればロジックの確認や他のスクリプトへの移植がスムーズに行えます。見た目の美しさよりも「実用性」を重視する場面では、この標準出力が最も頼りになります。
レコメンドシステムにおいて、アイテムのジャンル、テキスト説明、メタデータなどの属性情報を分析し、ユーザーが過去に好んだアイテムと特徴が類似したアイテムを推薦する手法を何と呼ぶでしょうか？
① 協調フィルタリング
② 内容ベース（コンテンツベース）フィルタリング
③ 相関分析
④ クラスター分析
この手法では、まず各アイテムを「特徴ベクトル」として表現します。
【 コンテンツベースの流れ 】
| 手法 | 注目するデータ | 新商品への対応 |
|---|---|---|
| 協調 | 他人の購入履歴 | 苦手（データがないため） |
| コンテンツ | アイテムの属性 | 得意（属性で判断できる） |
問：コンテンツベースフィルタリングの弱点として、ユーザーの過去の好みに似たものばかりが選ばれ、意外性のある提案ができなくなる現象を何と呼ぶか。
① コールドスタート問題 ② オーバーフィッティング ③ フィルターバブル ④ 勾配消失
【 正解： ③ 】
解説： 自分の好きなジャンルばかりに囲まれてしまい、新しいジャンルに出会えなくなることを「フィルターバブル（またはセレンディピティの欠如）」と呼びます。
DS検定において「アイテムの属性」「特徴の類似」というキーワードが出たら「コンテンツベース」です。協調フィルタリングが「他人の行動」を見るのに対し、こちらは「アイテムの中身」を見る、という違いを明確にしておきましょう！