【DS検定対策】慣性の力で最適化を加速！「モーメンタム（Momentum）」の仕組み
ディープラーニングの学習で使われる通常の確率的勾配降下法（SGD）は、パラメータが非効率なジグザグ運動をしてしまい学習が遅くなる弱点があります。これを解決するために「物理の慣性（運動量）」の考え方を導入した最適化手法が「モーメンタム（Momentum）」です！
1. 【 問題 】
ニューラルネットワークの最適化アルゴリズムにおいて、通常の確率的勾配降下法（SGD）に「前回の更新の勢い（慣性）」を意味する項を加え、パラメータの振動を抑えて収束を高速化させる手法を何と呼ぶでしょうか？
① モーメンタム（Momentum）
② ドロップアウト（Dropout）
③ バッチ正規化（Batch Normalization）
④ グリッドサーチ（Grid Search）
2. 【 解答 】
3. 整理：なぜモーメンタムが必要なのか？（転がるボールの例え）
通常のSGDとモーメンタムの違いは、「坂道を転がり落ちるボール」に例えると非常にわかりやすくなります。
| 手法 | 動きの特徴・メリット / デメリット |
|---|---|
| 通常のSGD （確率的勾配降下法） |
その瞬間の傾きだけで進むため、谷底に向かって左右に激しくジグザグと蛇行（振動）してしまい、なかなか効率よく進めない。 |
| モーメンタム （Momentum） |
「前回の勢い（慣性）」を引き継ぐため、左右の無駄な揺れ（振動）が打ち消し合って相殺され、谷底の方向へまっすぐ加速（高速化）できる。 |
4. モーメンタムが持つ2つの強力なメリット
・ジグザグ動くエネルギーが相殺されるため、効率的かつスピーディーに最適値（最小値）へ到達できます。
② 局所最適解（ローカルミニマム）の突破：
・学習途中で小さな窪み（行き止まり）にハマりそうになっても、これまでの「勢い（慣性）」があるため、勢いでその窪みを飛び越えて進むことができます。
5. DS検定形式：実戦4択クイズ
問：ディープラーニングの最適化アルゴリズムである「モーメンタム（Momentum）」に関する記述として、最も適切なものはどれか。
① 学習率を一定に保つのではなく、エポックが進むにつれて学習率を強制的にゼロまで直線的に減衰させる手法である。
② 物理の慣性（運動量）の概念を導入し、前回のパラメータ更新の方向と大きさを一定の割合で今回の更新に反映させることで、振動を抑え最適化を高速化する手法である。
③ ネットワークの過学習を防ぐため、ランダムに一部のニューロンを無効化しながら学習を進める正則化手法である。
④ ミニバッチごとのデータの偏りをなくすために、各層の入力データの平均と分散を強制的に正規化する手法である。
【 正解： ② 】
解説： モーメンタムの目的と仕組みを問う標準問題です。
②が正解です。慣性の力を取り入れて最適化をスムーズかつ高速にします。
①は学習率減衰（Learning Rate Decay）の説明です。
③は「ドロップアウト（Dropout）」の説明です。
④は「バッチ正規化（Batch Normalization）」の説明です。
6. まとめ
DS検定や資格試験で「物理の慣性」「前回の更新の勢いを引き継ぐ」「ジグザグした振動を抑える」「最適化の高速化」といったキーワードが出たら、正解は「モーメンタム（Momentum）」です！ SGDの弱点である「非効率な蛇行」をカバーする必須の拡張手法として覚えておきましょう！
