学習 局所最適解とは?意味・大域最適解との違いをわかりやすく解説
機械学習は、大量の情報を元に、まるで人間のように学ぶ技術です。この技術では、より良い結果を得るため、様々な計算方法が使われています。その中でも、勾配降下法は、よく使われている方法の一つです。勾配降下法は、山の斜面を下るように、一番低い場所を探し出す方法です。目指すは、谷底、つまり関数が最も小さくなる場所です。しかし、この方法には「局所最適解」という罠があります。
局所最適解とは、全体で見渡せば最適な場所ではないのに、周りの狭い範囲だけで見ると最適な場所のように見える点のことです。例えるなら、山登りで一番高い頂上を目指しているのに、途中で小さな丘に登ってしまい、満足して本当の頂上を見逃してしまうようなものです。目の前には他に高い場所がないので、ここが頂上だと勘違いしてしまうのです。局所最適解に捕まってしまうと、本当に欲しい一番良い結果を得ることができません。
この問題を避けるためには、様々な工夫が必要です。例えば、最初に山の斜面を下る場所をいくつか変えて試してみる方法があります。異なる出発点から探索を始めることで、異なる小さな丘に捕まる可能性を減らし、真の頂上に辿り着く確率を高めます。他にも、一度谷に降りた後、少しだけ山を登ってみる方法もあります。もしかしたら、今の谷の向こう側に、もっと深い谷が隠されているかもしれません。このように、様々な方法を組み合わせて、局所最適解を避け、真の最適解を目指すのです。機械学習の進化は、この局所最適解という壁を乗り越えるための挑戦でもあると言えるでしょう。
