アルゴリズム 活性化関数:Leaky ReLU
人間の頭脳の働きを真似た仕組みである人工知能の神経網は、神経細胞に似たたくさんの小さな部品(節点)が層状に繋がってできています。それぞれの節点は、入力された信号を受け取って、それを別の形に変換して出力します。この変換作業を担うのが活性化関数です。活性化関数の役割は、神経網に複雑な模様を学習する能力を与えることです。
もし活性化関数がなければ、神経網は入力された信号を単純な計算で変換するだけで、複雑な模様を学習することはできません。例えば、簡単な足し算や引き算のような計算だけでは、写真に写っているのが猫か犬かを判断することは難しいでしょう。活性化関数は、この単純な計算に「ひと工夫」を加えることで、神経網が複雑な問題を解けるようにするのです。この「ひと工夫」とは、非線形と呼ばれる性質のことです。
非線形とは、入力の変化量と出力の変化量が比例しないことを意味します。例えば、単純な計算では、入力が2倍になれば出力も2倍になります。しかし、活性化関数を用いると、入力が2倍になっても出力は2倍になるとは限りません。この性質のおかげで、神経網は曲線や複雑な形を表現できるようになり、写真の中の猫や犬を見分けるような複雑な課題にも対応できるようになります。
例えるなら、活性化関数は、画家に様々な色を与えて、より複雑で豊かな絵を描けるようにするパレットのようなものです。もし画家が黒と白の2色しか使えなければ、表現できる絵には限界があります。しかし、赤や青、黄色など様々な色を使うことで、より鮮やかで複雑な絵を描くことができます。活性化関数も同様に、神経網に非線形性という「色」を与えることで、複雑な問題を解く能力を与えているのです。活性化関数なしでは、神経網は本来の力を発揮できません。
