Depthwise Separable Convolution

分離畳み込みは、通常の畳み込み演算に比べて計算量と必要な記憶容量を減らす、画像認識などの分野でよく使われる手法です。通常の畳み込みでは、一つのフィルター（処理の型のようなもの）が縦、横、奥行き（チャンネル）の３方向すべてを一度に処理します。これは、例えるなら、色のついた３次元のゼリーに、型抜きを一度に押し付けるようなものです。この方法だと、フィルターのサイズが大きくなるほど、計算が複雑になり、多くの計算資源が必要になります。 分離畳み込みは、この複雑な３次元処理を二つの簡単な処理に分解します。まず、縦と横方向、つまり画像の表面に沿ってのみフィルターを適用します。これは、色のついたゼリーの各層ごとに、型抜きを押し付けるようなものです。次に、奥行き方向、つまりチャンネル方向にフィルターを適用します。これは、型抜きで処理した後のゼリーの各層を混ぜ合わせるようなものです。 このように処理を分けることで、計算量を大幅に削減できます。例えば、縦、横、奥行きのサイズがそれぞれNの立方体のゼリーに、同じ大きさのフィルターを適用する場合、通常の畳み込みではNの３乗に比例する計算が必要になります。一方、分離畳み込みでは、最初の表面処理でNの２乗、次の奥行き処理でNに比例する計算で済むため、全体ではNの２乗とNの和に比例する計算量で済みます。Nが大きくなればなるほど、この差は大きくなります。 特に、携帯端末や小型機器のように計算能力や記憶容量が限られている環境では、この計算量の削減は大きなメリットになります。そのため、分離畳み込みは、これらの機器で動く画像認識の人工知能などで広く使われています。

近頃は、深い学びが様々な分野で注目を集めており、特に絵を見て何が写っているかを当てる技術は目覚ましい発展を遂げています。この技術を支えるのが、畳み込みニューラルネットワークと呼ばれる仕組みです。この仕組みは、絵の中に隠された特徴を上手く掴み取る能力に長けています。しかし、この仕組みが複雑になるほど、計算に時間がかかり、多くの資源が必要になるという問題も抱えています。 そこで、計算の手間を減らしつつ、絵を正確に認識する能力を維持するための様々な工夫が研究されてきました。その工夫の一つに、「分離可能畳み込み」と呼ばれるものがあり、これは「モバイルネット」という、持ち運びのできる機器でも使えるように軽く作られた畳み込みニューラルネットワークで使われています。 通常の畳み込み処理では、絵の一部分に対して、縦と横の両方向を同時に見て特徴を捉えます。そのため、計算量が大きくなってしまいます。一方、分離可能畳み込みでは、縦方向と横方向を別々に見て特徴を捉えます。まず、縦方向にのみ注目して畳み込みを行い、次に、その結果に対して横方向に畳み込みを行います。このように処理を分けることで、計算量を大幅に減らすことが可能になります。 例えるなら、たくさんの数の書かれた表を計算する場面を想像してみてください。通常の畳み込みは、表全体を一度に計算するようなものです。一方、分離可能畳み込みは、まず各行ごとに計算を行い、次にその結果を使って列ごとに計算を行うようなものです。全体を一度に計算するよりも、行ごとに計算し、次に列ごとに計算する方が、計算の手間は少なくて済みます。 このように、分離可能畳み込みは、計算の負担を軽くしながらも、絵の特徴を捉える能力を高く保つことができるため、持ち運びのできる機器での利用に適しています。この技術のおかげで、少ない資源でも高度な絵認識技術を活用できるようになり、私たちの生活はますます便利になっています。