【DS検定対策】少ない試行で最高精度を狙う！「ベイズ最適化」の仕組み
ハイパーパラメータの組み合わせを闇雲にしらみつぶし（グリッドサーチ）に試すと、計算時間がいくらあっても足りません。そこで「過去の試行結果から学習し、次に最も有望な設定を予測して試す」という賢い探索を行うのが「ベイズ最適化（Bayesian Optimization）」です！
1. 【 問題 】
機械学習のハイパーパラメータチューニングにおいて、これまでに試したパラメータの設定値と得られた精度の履歴をもとに確率モデル（ガウス過程など）を構築し、「次にどのパラメータを試せば最も性能が向上しそうか」を予測しながら効率的に探索を進める手法を何と呼ぶでしょうか？
① ベイズ最適化（Bayesian Optimization）
② グリッドサーチ（Grid Search）
③ ランダムサーチ（Random Search）
④ 勾配降下法（Gradient Descent）
2. 【 解答 】
3. 整理：なぜ「過去の結果から予測」すると効率的なのか？
ベイズ最適化は、過去の探索データを元に「目的関数の形状（どのあたりで精度が高くなるか）」をブラックボックス関数として確率的に推測します。
【 ベイズ最適化の探索ステップ 】
↓
［ステップ2］【事後分布の更新】
これまでの結果から「パラメータと精度」の関係性を確率モデル（代理モデル）で推測する。
↓
［ステップ3］【獲得関数の計算】
「精度が高そうな場所（活用）」と「まだ試しておらず不確実性が高い場所（探索）」のバランスを計算し、次に試すべき最適な地点を決定する。
↓
［ステップ4］決定した地点でモデルを評価し、履歴を追加してステップ2へ戻る（繰り返す）。
このアプローチにより、「見込みの薄い領域」を何度も無駄に試すことを避けられるため、少ない試行回数で効率よく最適解（最高の精度）に到達できます。
4. 代表的なハイパーパラメータ探索手法の最終比較
DS検定やG検定で問われる3大探索手法の特徴を整理しておきましょう。
| 手法名 | 探索の進め方 | 計算効率・特徴 |
|---|---|---|
| グリッドサーチ | 指定した候補値のすべての組み合わせを格子状に全試行。 | 確実だが、候補が増えると組合せ爆発を起こす。 |
| ランダムサーチ | 指定範囲からランダムに抽出して試行。 | グリッドサーチより広い範囲を効率よく探せる。 |
| ベイズ最適化 | 過去の履歴から「次に有望な地点」を確率的に予測して試行。 | 最も計算効率が高い。PythonのOptuna等で標準利用。 |
5. DS検定形式：実戦4択クイズ
問：ハイパーパラメータの自動探索手法である「ベイズ最適化」に関する記述として、最も適切なものはどれか。
① 探索の途中で過去の試行結果を一切参照せず、常に完全にランダムな値を生成して評価を繰り返す手法である。
② これまでの試行履歴に基づいて代理モデルを構築し、過去の結果から最も性能向上が期待できるパラメータを適応的に選択して探索する。
③ パラメータの候補値をあらかじめ網目状に固定し、そのすべての組み合わせを順番に評価していく手法である。
④ ディープラーニングの重み（パラメータ）を微分の勾配方向に沿って自動で更新していく最適化アルゴリズムである。
【 正解： ② 】
解説： ベイズ最適化の特徴を問う基礎問題です。
②が正解です。過去の履歴を活用して「次に評価すべき有望な地点」を計算します。
①は「ランダムサーチ」の説明（過去の履歴を活用しない）です。
③は「グリッドサーチ」の説明です。
④は「SGDやAdamなどの勾配降下法」の説明であり、ハイパーパラメータ探索ではなくモデル本体の学習処理です。
6. まとめ
DS検定や資格試験で「過去の試行結果・履歴を利用する」「確率モデル」「次に有望なパラメータを予測」「少ない試行で効率的に探索」「Optuna」といったフレーズが出たら、正解は「ベイズ最適化」です！ 前回の「グリッドサーチ」、そして「ランダムサーチ」との違いと合わせて、セットで完璧に整理しておきましょう！
