忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【DS検定対策】目指せ山の頂上!「大域的最適解」と「局所的最適解」

機械学習の学習とは、誤差(目的関数)を最小にする「正解の場所」を探す旅のようなものです。しかし、そこには「偽の頂上」という罠が潜んでいます。

1. 【 問題 】

最適化問題において、定義域全体のすべての解の中で、目的関数の値が最も良い(最小、あるいは最大)状態のことを何と呼ぶでしょうか?

① 局所的最適解(ローカルミニマム)
② 大域的最適解(グローバルミニマム)
③ 近似解
④ 初期解


2. 【 解答 】

正解: ② 大域的最適解(グローバルミニマム)

3. 整理:富士山の頂上か、近所の丘か

最適解を探すプロセスは、霧の中で山登り(あるいは下山)をする状況に例えられます。

【 2つの最適解 】

[ 1. 局所的最適解(Local Optimum) ]
「周りのどの地点よりも高い(低い)」場所。
しかし、山脈全体で見ればもっと高い山があるかもしれない「偽の頂上」です。

[ 2. 大域的最適解(Global Optimum) ]
★ 今回の主役!
山脈全体の「全地点の中で最も高い(低い)」場所。これこそが真の正解です。

--------------------------

課題: AIの学習(勾配降下法など)では、探索が「局所的最適解」にハマってしまい、本当の正解(大域的最適解)にたどり着けないことがよくあります。

4. 罠を抜け出すための工夫

1. 学習率の調整: 勢いよく移動することで、小さな窪み(局所解)を飛び越える工夫がされます。
2. 初期値を変える: 探索を始める場所を変えて何度も試すことで、大域的最適解を見つける確率を高めます。
3. モーメンタム(慣性): 坂を下る勢いを利用して、平坦な道や小さな段差を乗り越えます。


5. DS検定形式:実戦4択クイズ

問:ニューラルネットワークの学習において、大域的最適解を目指す際、局所的最適解に捕まってしまうことを何と呼ぶか。

① 過学習   ② 勾配消失   ③ 局所解への収束   ④ 未学習

【 正解: ③ 】

解説: 「局所解に陥る」とも言われます。これを防ぐために、確率的勾配降下法(SGD)やAdamといった最適化アルゴリズムが進化してきました。


6. まとめ

DS検定において「すべての範囲で最も良い解」というキーワードが出たら「大域的最適解」です。逆に「特定の範囲内で一番良い」だけなら「局所的最適解」です。この「全体か、一部か」の視点を忘れないようにしましょう!

PR