DenseNet

記事数:(3)

アルゴリズム

学習済みモデル開発:設計と調整

近ごろ、人の知恵を模した機械の分野では、既に学習を終えた見本の利用が目覚ましく進んでいます。例えば、絵を見て何が写っているか判断する、人の声を聞いて文字にする、人の言葉を理解して応答するといった様々な分野で、その成果が証明されています。しかし、ただ既存の見本を使うだけでは、その真の力を発揮できないこともあります。なぜなら、仕事の性質や情報の特質によって、最も適した見本の構造や細かい設定が変わるからです。 たとえば、猫の種類を判別する仕事と、レントゲン写真から病気を診断する仕事では、求められる情報の細かさや種類が全く異なります。猫の種類を見分けるためには、耳の形や毛並みといった視覚的な情報が重要ですが、レントゲン写真では、骨の密度や影の形といった、より専門的な情報が重要になります。このように、仕事の性質によって必要な情報が異なるため、同じ見本をそのまま使ってもうまくいかないことがあります。また、情報の特質も重要です。例えば、大量の情報で学習された見本は、少ない情報ではうまく機能しないことがあります。これは、見本が大量の情報の中から共通の特徴を見つけることで学習しているため、少ない情報ではその特徴を捉えきれないからです。 そのため、既に学習を終えた見本をうまく使うためには、見本の設計や組み立て、そして細かい調整が欠かせません。見本の設計とは、仕事に適した構造を決めることです。例えば、多くの種類を判別する必要がある場合は、複雑な構造の見本が必要になります。また、細かい調整とは、見本の学習の進み具合や正確さを左右する様々な設定を調整することです。適切な調整を行うことで、見本の性能を最大限に引き出すことができます。この見本の設計・組み立てと細かい調整は、いわば料理でいうところのレシピ作成と火加減調整のようなもので、最終的な成果を大きく左右する重要な工程です。本稿では、この重要な工程について、より詳しく説明していきます。
アルゴリズム

DenseNet:高密度なつながりで画像認識を革新

人と人とのつながりと同じように、機械学習の世界でも層と層のつながりはとても重要です。初期の深層学習モデルでは、各層は直前の層からの出力だけを受け取っていました。これは、まるで一列に並んだ人が、前の人の言葉だけを聞いて後ろの人に伝える伝言ゲームのようなものです。情報が一部抜け落ちたり、変化したりしてしまう可能性が高い方法と言えるでしょう。 このような単純なつながり方では、特に層が深くなるにつれて、重要な情報がうまく伝わらなくなるという問題がありました。遠く離れた層からの情報が、現在の層に届くまでに薄れてしまうのです。また、学習の際に勾配消失という現象が起きやすく、思うように学習が進まないという課題もありました。 そこで、層同士のつながり方を工夫することで、これらの問題を解決しようという試みが始まりました。例えば、ResNetと呼ばれるモデルでは、ショートカット接続という仕組みを導入することで、前の層の出力を後の層に直接伝えることを可能にしました。これにより、層が深くなっても情報がうまく伝わるようになり、勾配消失問題も軽減されました。 そして、DenseNetは、この流れをさらに推し進めた画期的なモデルです。DenseNetでは、各層がそれ以前のすべての層からの出力を受け取るという、非常に密なつながり方を採用しています。すべての層が、過去のすべての層と直接つながっているため、情報伝達が非常に効率的になります。これは、大人数の会議で、全員が自由に発言し、すべての人の意見を聞きながら議論を進めるようなイメージです。DenseNetは、この密なつながりのおかげで、少ないパラメータで高い性能を達成することに成功し、画像認識の分野に大きな進歩をもたらしました。
学習

DenseNet:濃密な接続で高精度を実現

濃密連結網(デンスネット)は、画像の判別などで高い正答率を誇る、神経網の一種です。この網は、層と層の結びつき方に特徴があり、従来の網よりもたくさんの結びつきを持つことで、情報のやり取りを滑らかにしています。濃密連結網は、残差網(レズネット)という先行の網を改良したものです。残差網は層を飛び越える結びつきを導入することで、勾配消失問題という、学習の停滞を引き起こす問題に対処していました。具体的には、残差網では、ある層の出力が、後の層の入力にそのまま加えられるという仕組みでした。これにより、学習の過程で重要な情報が薄まってしまうのを防ぎ、深い網でもうまく学習できるようになりました。濃密連結網は残差網の考え方をさらに発展させました。残差網では特定の層を飛び越える結びつきでしたが、濃密連結網では全ての層を密に繋いでいます。つまり、ある層の出力が、それ以降の全ての層の入力に直接加えられるのです。このように、全ての層が互いに直接影響を及ぼし合うことで、情報の伝達がより効果的になり、残差網よりも少ない層数で高い正答率を達成することが可能となりました。また、この密な繋がりは、特徴量の再利用を促進します。前の層で抽出された特徴が、後の層でも有効に活用されるため、計算の無駄を省き、学習の効率を高める効果も期待できます。濃密連結網は画像の判別以外にも、物体検出や画像生成など、様々な分野で応用されており、今後の発展が期待される技術です。