CutMixとは？仕組み・Mixupとの違い・使い方を初心者向けに解説

CutMixとは？仕組み・Mixupとの違い・使い方を初心者向けに解説

画像認識モデルの学習には、多様で質の高い画像が必要です。しかし、画像収集やアノテーションには時間と費用がかかります。そこで役立つのが、既存の学習画像を変形・合成してバリエーションを増やすデータ拡張です。

CutMixは、回転や左右反転とは異なり、2枚の画像を1枚に合成します。単なる画像の水増しではなく、モデルが背景や目立つ一部分だけを手掛かりにするのを防ぎ、未知の画像にも対応しやすい特徴を学ばせることが狙いです。

CutMixとは

CutMixとは、ある画像の矩形領域を別の画像の領域で置き換え、両画像のラベルを面積比で混合する手法です。2019年に提案され、画像分類を中心に利用されてきました。

たとえば、猫の画像へ犬の画像の一部を貼り付けます。完成した画像には猫と犬の両方が含まれるため、正解ラベルも「猫だけ」にはしません。猫が占める面積と犬が占める面積に応じて、「猫70％・犬30％」のようなソフトラベルを与えます。

ここで重要なのは、貼り付け領域が単なるノイズではなく、別の学習画像から来た情報だという点です。モデルは猫の顔など目立つ特徴が隠れていても、耳、体形、毛並みといった別の特徴から判断するよう促されます。

CutMixの仕組みとラベルの計算方法

\(\tilde{x}=M\odot x_B+(1-M)\odot x_A,\quad \tilde{y}=\lambda y_A+(1-\lambda)y_B\)

CutMixの処理は、次の流れで行います。

1. ミニバッチから画像Aと画像Bを選ぶ。
2. 画像上に、位置と大きさがランダムな矩形領域を決める。
3. 画像Aの矩形部分を、画像Bから切り出した領域で置き換える。
4. 実際に置き換わった面積を基に混合比を計算し、ラベルAとラベルBを混ぜる。

画像全体の幅を\(W\)、高さを\(H\)、貼り付けた矩形の幅を\(w\)、高さを\(h\)とすると、元画像Aの比率\(\lambda\)は、おおむね次式で求められます。

\(\lambda = 1-\frac{wh}{WH}\)

たとえば画像全体の30％を画像Bで置き換えた場合、\(\lambda=0.7\)です。分類ラベルは画像Aを0.7、画像Bを0.3の重みで混合します。画像の端で矩形が切れた場合は、生成時に想定した値ではなく、実際に貼り付けられた面積から比率を再計算することが大切です。

Cutout・Mixup・Random Erasingとの違い

CutMixはCutoutとMixupの発想を受け継いでいますが、処理内容とラベルの扱いが異なります。Random Erasingも領域を消す点では似ていますが、消去領域の形や値をランダム化するのが中心です。

どれが常に最良というわけではありません。Mixupは画像全体を連続的に混ぜたい場合、CutoutやRandom Erasingは単純な遮蔽を学ばせたい場合、CutMixは物体の輪郭をある程度残しながら複数クラスの情報を使いたい場合に候補になります。

CutMixの利点

CutMixの第一の利点は、モデルが識別しやすい局所特徴だけへ過度に依存するのを抑えられることです。猫の顔が別画像で隠れても、体や耳から猫と判断する必要があるため、より広い範囲の特徴へ注意が向きます。

第二に、Cutoutのように領域を空白へ変えるのではなく、別画像の有効な情報を利用できます。Mixupに比べると、それぞれの画像の輪郭や局所的な質感も残りやすく、現実の画像に近いエッジ情報を保ったまま学習できます。

第三に、物体の一部が隠れる状況を人工的に作れることです。実環境では、人や車が他の物体に遮られることがあります。CutMixによる学習は、このような部分遮蔽に対する頑健性の向上につながる可能性があります。

ただし、CutMixを使えば必ず精度が上がるわけではありません。効果はデータセット、モデル、入力解像度、矩形サイズ、適用確率などに左右されるため、ベースラインとの比較実験が必要です。

CutMixの使いどころと応用例

画像分類はCutMixの代表的な用途です。犬種分類や製品分類のように、クラスごとの特徴を広く捉えたいタスクで利用できます。学習データが限られ、過学習が起きている場合には試す価値があります。

物体検出では、物体が重なった場面や一部が隠れた場面を増やす目的で応用できます。ただし、分類用のラベル混合だけでは不十分です。貼り付けによって変化するバウンディングボックスや可視面積を、検出モデルの教師データへ正しく反映する必要があります。

セマンティックセグメンテーションでは、画像と同じマスクで正解マスクも切り貼りします。ピクセル単位のラベルを保てるため、領域分割の学習データ拡張として使えます。

医療画像へ適用する研究例もありますが、病変の位置や形に臨床的な意味がある場合、無作為な合成が現実にはない画像を作る恐れがあります。専門家による妥当性確認と、患者単位で分離した検証設計が欠かせません。

CutMixを導入するときの注意点

• 検証・テスト画像には適用しない：データ拡張は原則として学習データだけに使い、評価条件を一定に保ちます。
• 小さな対象を消しすぎない：小物体が多い画像では、矩形によって対象が丸ごと失われることがあります。貼り付け面積や適用確率を控えめに調整します。
• タスクのラベル構造に合わせる：物体検出や領域分割では、分類ラベルの混合だけでなく、ボックスやマスクも更新します。
• 現実性を確認する：位置関係に意味がある画像では、不自然な合成が誤った規則を学ばせないか確認します。
• 再現性を確保する：乱数シード、適用確率、矩形サイズの分布、他の拡張との順序を記録します。

最初は標準的な前処理だけのモデルをベースラインにし、CutMixを追加した条件と同じ学習回数・評価指標で比較すると効果を判断しやすくなります。クラスごとの精度や混同行列も確認すると、全体精度だけでは見えない悪化を発見できます。

まとめ

CutMixは、2枚の画像を矩形領域で切り貼りし、置き換え面積に合わせてラベルも混ぜるデータ拡張手法です。Cutoutの部分遮蔽とMixupのラベル混合を組み合わせ、画像の輪郭を残しながら、特定の局所特徴だけに頼らない学習を促します。

画像分類だけでなく、物体検出や領域分割にも応用できます。ただし、教師ラベルの更新、小物体の消失、不自然な合成には注意が必要です。まずはベースラインを用意し、適用確率や矩形サイズを調整しながら、タスクごとの検証結果で採用を判断しましょう。

更新履歴