【DS検定対策】目指せ山の頂上!「大域的最適解」と「局所的最適解」
機械学習の学習とは、誤差(目的関数)を最小にする「正解の場所」を探す旅のようなものです。しかし、そこには「偽の頂上」という罠が潜んでいます。
1. 【 問題 】
最適化問題において、定義域全体のすべての解の中で、目的関数の値が最も良い(最小、あるいは最大)状態のことを何と呼ぶでしょうか?
① 局所的最適解(ローカルミニマム)
② 大域的最適解(グローバルミニマム)
③ 近似解
④ 初期解
2. 【 解答 】
正解: ② 大域的最適解(グローバルミニマム)
3. 整理:富士山の頂上か、近所の丘か
最適解を探すプロセスは、霧の中で山登り(あるいは下山)をする状況に例えられます。
【 2つの最適解 】
[ 1. 局所的最適解(Local Optimum) ]
「周りのどの地点よりも高い(低い)」場所。
しかし、山脈全体で見ればもっと高い山があるかもしれない「偽の頂上」です。
[ 2. 大域的最適解(Global Optimum) ]
★ 今回の主役!
山脈全体の「全地点の中で最も高い(低い)」場所。これこそが真の正解です。
--------------------------
◎ 課題: AIの学習(勾配降下法など)では、探索が「局所的最適解」にハマってしまい、本当の正解(大域的最適解)にたどり着けないことがよくあります。
「周りのどの地点よりも高い(低い)」場所。
しかし、山脈全体で見ればもっと高い山があるかもしれない「偽の頂上」です。
[ 2. 大域的最適解(Global Optimum) ]
★ 今回の主役!
山脈全体の「全地点の中で最も高い(低い)」場所。これこそが真の正解です。
--------------------------
◎ 課題: AIの学習(勾配降下法など)では、探索が「局所的最適解」にハマってしまい、本当の正解(大域的最適解)にたどり着けないことがよくあります。
4. 罠を抜け出すための工夫
1. 学習率の調整: 勢いよく移動することで、小さな窪み(局所解)を飛び越える工夫がされます。
2. 初期値を変える: 探索を始める場所を変えて何度も試すことで、大域的最適解を見つける確率を高めます。
3. モーメンタム(慣性): 坂を下る勢いを利用して、平坦な道や小さな段差を乗り越えます。
5. DS検定形式:実戦4択クイズ
問:ニューラルネットワークの学習において、大域的最適解を目指す際、局所的最適解に捕まってしまうことを何と呼ぶか。
① 過学習 ② 勾配消失 ③ 局所解への収束 ④ 未学習
【 正解: ③ 】
解説: 「局所解に陥る」とも言われます。これを防ぐために、確率的勾配降下法(SGD)やAdamといった最適化アルゴリズムが進化してきました。
6. まとめ
DS検定において「すべての範囲で最も良い解」というキーワードが出たら「大域的最適解」です。逆に「特定の範囲内で一番良い」だけなら「局所的最適解」です。この「全体か、一部か」の視点を忘れないようにしましょう!
PR