最急降下法とは？意味・仕組み・機械学習での使い方を解説

最急降下法とは？機械学習の基礎になる仕組みと注意点

最急降下法とは何か

最急降下法とは、ある関数の値を最小にするために、現在の位置から見て最も値が下がりやすい方向へ進む方法です。機械学習では、モデルの予測がどれだけ外れているかを表す「損失関数」を小さくするために使われます。

たとえば、山の高さを損失関数の値、山の上の現在地をモデルのパラメータだと考えます。目的は、できるだけ低い谷底へ向かうことです。最急降下法では、周囲の斜面を調べて、最も急に下がる方向へ少しだけ移動します。その後、新しい場所でもう一度斜面を調べ、同じ作業を繰り返します。

この「少し進んで、また傾きを調べる」という繰り返しが、最急降下法の基本です。名前に「最急」とありますが、一度で答えに到達する方法ではありません。何度も更新を重ねながら、損失が小さくなる場所へ近づいていく手法です。

最急降下法の基本的な仕組み

最急降下法を理解するうえで重要なのが「勾配」です。勾配とは、関数の値がどの方向へどれくらい増えやすいかを示す量です。山の地形でいえば、どちらへ進むと高さが急に増えるかを表す矢印のようなものです。

最小値を探したい場合、値が増える方向へ進むのではなく、その反対側へ進む必要があります。そのため、最急降下法では勾配のマイナス方向へパラメータを更新します。これにより、損失関数の値が下がる方向へ進めます。

手順は大きく分けると、初期値を決める、現在地の勾配を計算する、勾配と反対方向へ少し移動する、変化が十分小さくなるまで繰り返す、という流れです。単純な考え方ですが、多数のパラメータを扱う機械学習でも同じ発想が使われます。

更新式で見る最急降下法

\(
\theta_{t+1} = \theta_t – \eta \nabla J(\theta_t)
\)

最急降下法は、上のような更新式で表されます。ここで、\theta は重みや切片などのパラメータ、J(\theta) は損失関数、\nabla J(\theta_t) は現在のパラメータにおける勾配、\eta は学習率です。

式の意味は、「現在のパラメータから、学習率を掛けた勾配を引く」というものです。勾配は値が増えやすい方向を示すため、そこから引くことで値が下がる方向へ動きます。山の比喩でいえば、斜面の向きを調べ、一歩分だけ下る操作です。

この式は、線形回帰の傾きや切片を調整するときにも、ニューラルネットワークの多数の重みを更新するときにも使われる考え方です。実際のモデルではパラメータが何千、何百万とあることもありますが、基本は「損失が下がる方向へ少しずつ更新する」ことに変わりありません。

ステップ幅と学習率が結果を左右する

最急降下法では、一回の更新でどれくらい進むかを決める値が重要です。これは元記事で「歩幅」や「ステップ幅」と説明されていたもので、機械学習では多くの場合「学習率」と呼ばれます。

学習率が大きすぎると、谷底に近づいても勢い余って反対側へ飛び越えてしまいます。何度も谷底をまたぐように動くと、損失が安定して下がらず、学習が発散することもあります。反対に、学習率が小さすぎると一歩ずつは安全ですが、最小値へ近づくまでに非常に多くの更新が必要になります。

適切な学習率は、関数の形、データの性質、初期値、モデルの規模によって変わります。そのため実務では、学習率を固定するだけでなく、学習の進行に合わせて小さくする方法や、Adamのように各パラメータの更新幅を自動調整する最適化手法も使われます。

初期値と局所最適解の問題

最急降下法には、初期値の影響を受けるという注意点があります。出発地点が違えば、最初に見える下り坂も変わります。そのため、同じ関数を最小化していても、どこから始めるかによって最終的にたどり着く場所が変わることがあります。

特に、山全体で最も低い場所を「大域的最適解」、その周辺だけで見ると低いものの全体では最も低くない場所を「局所最適解」と呼びます。最急降下法は、基本的には現在地の近くの情報を使って進むため、局所最適解に入り込むとそこから抜け出しにくい場合があります。

また、ニューラルネットワークのような複雑な損失関数では、局所最適解だけでなく、ある方向では谷、別の方向では山のように見える「鞍点」も問題になります。対策としては、初期値を工夫する、複数回試す、確率的勾配降下法やモーメンタム法などの改良手法を使う、といった方法があります。

機械学習ではどこで使われるのか

機械学習では、モデルが出した予測と実際の答えとの差を損失関数で表します。最急降下法は、この損失関数が小さくなるようにパラメータを更新するために使われます。つまり、モデルがデータに合うように調整する学習の中心的な仕組みです。

線形回帰では、直線の傾きと切片を調整して、予測値と実測値のずれを小さくします。ロジスティック回帰では、分類の誤りが少なくなるように重みを更新します。ニューラルネットワークでは、各層にある多数の重みを、誤差逆伝播で求めた勾配にもとづいて更新します。

ただし、実際の機械学習では、すべてのデータを使って毎回きっちり勾配を計算する方法だけでなく、一部のデータを使う確率的勾配降下法やミニバッチ勾配降下法がよく使われます。計算量を抑えつつ、学習を効率よく進めるためです。

最急降下法と関連手法の違い

最急降下法は、勾配降下法の基本形として説明されることが多い手法です。用語の使われ方には文脈差がありますが、初学者はまず「勾配を使って損失を下げる方向へ進む方法」と理解するとよいでしょう。

これらの関連手法は、最急降下法の弱点である計算量、振動、局所的な停滞などを補うために使われます。したがって、最急降下法を理解しておくと、より高度な最適化アルゴリズムの考え方も追いやすくなります。

最急降下法を学ぶときの注意点

最急降下法を学ぶときは、数式だけを暗記するよりも、「何を小さくしたいのか」「どの方向へ動いているのか」「一回でどれくらい動くのか」を分けて考えると理解しやすくなります。損失関数、勾配、学習率、パラメータ更新の関係を順番に押さえることが大切です。

また、損失が下がらないときに、すぐモデルの種類だけを疑うのではなく、学習率、初期値、データのスケール、外れ値、特徴量の作り方も確認する必要があります。最急降下法は単純な手法ですが、実際の結果は周辺条件に大きく左右されます。

初心者にとって特に重要なのは、最急降下法は万能な答え探しではなく、条件に応じてうまく働く最適化の基本手順だと理解することです。この前提を押さえると、勾配降下法の改良版やニューラルネットワークの学習もつながって見えてきます。

まとめ

最急降下法は、関数の値を小さくするために、現在地の勾配と反対方向へ少しずつ進む最適化手法です。機械学習では、損失関数を下げるようにモデルのパラメータを更新する基礎として使われます。

重要なポイントは、勾配、学習率、初期値の三つです。勾配は進む方向を決め、学習率は一歩の大きさを決め、初期値はどの谷へ向かいやすいかに影響します。学習率が大きすぎると発散し、小さすぎると収束が遅くなります。また、初期値によっては局所最適解にとどまることもあります。

最急降下法は、線形回帰やロジスティック回帰、ニューラルネットワークなど、多くの機械学習手法を理解する土台です。まずは山を下る比喩で全体像をつかみ、そのうえで更新式と注意点を確認すると、機械学習の最適化を無理なく理解できます。

更新履歴