学習 鞍点とは?機械学習で学習が停滞する理由と対策
馬の鞍のような形を想像してみてください。馬の背中に沿って前後に見ると、鞍の中央は最も低い位置になっています。しかし、馬の胴体に対して垂直に、左右を見ると、鞍の中央部分は盛り上がっています。まさに、ある方向から見ると谷底、別の方向から見ると山頂のように見える、これが鞍点です。
数学的に表現すると、鞍点は多次元の空間で定義された関数の特別な点です。この点の周辺のごく狭い範囲に着目すると、ある方向に進むと関数の値が増加し、別の方向に進むと減少します。二次元の平面上では、ちょうど馬の鞍のような形になります。ある方向に沿って切ると下に凸のカーブ、別の方向に沿って切ると上に凸のカーブを描きます。
この鞍点という概念は、様々な分野で登場しますが、特に機械学習の分野では重要な意味を持ちます。機械学習では、学習の目標は、ある関数の値を最小にする、あるいは最大にする最適な点を見つけることです。しかし、学習過程で鞍点に捕まってしまうと、そこが真の最適解ではないにもかかわらず、抜け出せなくなる可能性があります。なぜなら、鞍点の周辺では、どの方向に少し進んでも関数の値が良くなったり悪くなったりを繰り返すだけで、全体としては改善しないからです。まるで、山登りで頂上を目指しているのに、鞍部に留まってしまい、真の頂上に到達できないような状態です。そのため、機械学習のアルゴリズム開発では、この鞍点の問題をいかに回避するかが大きな課題となっています。
