【DS検定対策】深層学習の壁を攻略！学習が暴走する「勾配爆発」とは？

ディープラーニングの学習において、勾配が消えてしまう「勾配消失」とは逆に、勾配が指数関数的に大きくなってしまうのが「勾配爆発」です。学習が成立しなくなるこの現象を整理しましょう。

1. 【問題】

ニューラルネットワークの学習において、誤差逆伝播法で算出される勾配が極端に大きな値となり、パラメータの更新が異常に大きくなることで学習が発散・不安定になる現象を何と呼ぶでしょうか？

① 勾配消失問題
② 勾配爆発問題
③ オーバーフィッティング
④ 局所最適解

2. 【解答】

正解： ② 勾配爆発問題

3. 整理：なぜ「勾配」が暴走するのか？

勾配消失が「1より小さい値の掛け算」で起こるのに対し、勾配爆発は「1より大きな値の掛け算」が繰り返されることで起こります。

【勾配爆発のイメージ】

[ 1. 誤差の逆伝播 ]

層をさかのぼる際、重み行列の値を何度も掛け合わせる。

[ 2. 値が急激に膨れ上がる ]

★ ここが勾配爆発！

大きな値（重み）の掛け算が重なり、勾配が巨大な数値になる。

[ 3. パラメータの更新が「跳ねる」 ]

更新幅が大きすぎて、最適値（谷底）を飛び越えて発散してしまう。

--------------------------

◎ 結果： 重みが「NaN（非数）」になったり、学習が全く進まなくなったりします。

4. 代表的な対策

1. 勾配クリッピング: 勾配がある一定の閾値を超えたら、強制的に値を抑え込む手法です。
2. バッチ正規化: データの偏りを抑え、勾配が極端な値になるのを防ぎます。
3. 適切な重みの初期化: 最初から重みの値が大きくなりすぎないように調整します。

5. DS検定形式：実戦4択クイズ

問：勾配爆発を防ぐために、算出された勾配のノルム（大きさ）が一定値を超えた場合にその値を制限する手法を何と呼ぶか。

① ドロップアウト ② 勾配クリッピング ③ 正則化 ④ 早期終了

【正解： ② 】

解説： 「クリッピング（切り取り）」という名前の通り、勾配が暴走しないよう上限を設ける手法です。RNN（再帰型ニューラルネットワーク）など、層が深い（時間方向に長い）モデルで特によく使われます。

6. まとめ

DS検定で「勾配が極端に大きな値になる」「学習が発散する」という記述があれば、それは「勾配爆発」を指しています。勾配消失（ReLUなどで対策）と勾配爆発（クリッピングなどで対策）はペアで出題されやすいため、セットで覚えておきましょう！