ミニバッチ学習とは？仕組み・メリット・バッチサイズの決め方

ミニバッチ学習とは？仕組み・メリット・バッチサイズの決め方

機械学習では、予測と正解のずれを表す「損失」が小さくなるようにモデルのパラメータを調整します。このとき、どれだけのデータから1回分の勾配を計算するかを決めるのがバッチサイズです。

ミニバッチ学習は、全件を使う方法と1件ずつ使う方法の中間です。ただし、単に「速度と精度が中間」という意味ではありません。GPUなどの並列計算を利用しやすく、更新を適度な頻度で行えるため、実際のモデル訓練で標準的に採用されています。

ミニバッチ学習とは

ミニバッチ学習では、学習データを小さなグループに分割し、グループごとに損失と勾配を計算してパラメータを更新します。この小さなグループがミニバッチです。

たとえば学習データが1000件、ミニバッチサイズが100なら、100件ずつ10個に分けます。全データを1回使い切るまでにパラメータ更新は10回です。全データを1回使い切る単位を「1エポック」と呼び、通常は複数エポックにわたって学習を繰り返します。

サイズが32で1000件を処理する場合は、最後の端数を含めて約32回更新します。端数のバッチを使うか除外するかは、利用するフレームワークや設定によって選べます。

バッチ学習・SGD・ミニバッチ学習の違い

3つの方法は、主に1回の更新に使うデータ数が異なります。

「逐次学習」や「オンライン学習」はSGDと関連しますが、厳密には同じ意味とは限りません。オンライン学習は、継続的に届くデータを取り込みながらモデルを更新する運用方法です。オンライン学習でも、届いたデータを小さくまとめて更新する場合があります。

ミニバッチ学習の仕組みと処理手順

一般的な1エポックの処理は、次の順序で進みます。

1. 学習データの順序をシャッフルする
2. 指定したバッチサイズでデータを分割する
3. 1つのミニバッチをモデルへ入力し、予測値を得る
4. ミニバッチ内の平均損失と勾配を計算する
5. オプティマイザでパラメータを更新する
6. 次のミニバッチへ進み、全件を使い切ったら次のエポックへ進む

\(\theta \leftarrow \theta – \eta \frac{1}{B}\sum_{i=1}^{B}\nabla_{\theta}\ell_i(\theta)\)

ここで、\(\theta\) はモデルのパラメータ、\(\eta\) は学習率、\(B\) はミニバッチサイズ、\(\ell_i\) は各データの損失です。複数データの勾配を平均することで、1件だけの場合より極端な更新を抑えやすくなります。

シャッフルには、似たデータばかりが同じミニバッチに集まり、更新方向が偏ることを防ぐ目的があります。ただし、時系列データのように順序自体が重要な場合は、無条件にシャッフルせず、問題設定に合った分割を選びます。

ミニバッチ学習のメリット

• メモリ使用量を抑えやすい：全データを一度にGPUやメモリへ載せる必要がありません。
• 並列計算を生かしやすい：行列演算として複数件をまとめて処理でき、1件ずつ計算するよりハードウェアを効率よく使える場合があります。
• 早い段階から更新できる：全件の計算完了を待たずにパラメータを更新できます。
• 勾配のばらつきを調整できる：SGDより安定しやすく、全件計算より適度な揺らぎが残ります。この揺らぎが探索を助ける場合もあります。

画像認識や自然言語処理のようにデータ量とモデル規模が大きい分野では、計算資源に合わせて学習を進められる点が特に重要です。

デメリットと初心者が注意したい点

ミニバッチ学習は便利ですが、バッチサイズを変えると学習の性質も変わります。小さすぎると勾配のばらつきが大きくなり、学習曲線が揺れやすくなります。大きすぎると必要メモリが増え、1回の更新が重くなるうえ、更新回数も減ります。

また、バッチサイズと学習率は別々に考えないことが大切です。バッチサイズを大幅に増減したときは、同じ学習率が最適とは限りません。損失が発散する、検証精度が伸びないといった場合は、学習率も含めて見直します。

Batch Normalizationを使うモデルでは、非常に小さいバッチだと平均や分散の推定が不安定になることがあります。一方、巨大なバッチを選んでも、計算時間や汎化性能が必ず改善するわけではありません。

ミニバッチサイズの決め方

最適な値はデータ、モデル、GPUメモリ、入力サイズによって異なるため、万能な正解はありません。32、64、128などは試しやすい開始候補ですが、2の累乗でなければならないわけではありません。

1. まず32程度の無理なく動く値から試す
2. メモリ不足（OOM）が起きたら小さくする
3. 余裕があれば64、128と増やし、1エポックの時間や処理件数を測る
4. 訓練損失だけでなく、検証データの指標も比較する
5. サイズを大きく変えたら学習率も調整する

大きなバッチをメモリに載せられないものの、より多くのデータに基づいて更新したい場合は「勾配累積」を使えます。複数の小さなミニバッチで得た勾配を蓄積し、まとめて1回更新する方法です。ただし、Batch Normalizationなどの挙動まで大きなバッチと完全に同じになるわけではありません。

実務でのチューニング例

たとえば画像分類でサイズ32から始め、GPUメモリに余裕があるなら64、128を比較します。各設定で同じエポック数だけを見るのではなく、同じ計算時間や同程度の更新回数でも比較すると、効率の違いを判断しやすくなります。

確認したい指標は、1秒あたりの処理件数、GPUメモリ使用量、訓練損失、検証精度です。最速の設定が最良とは限らないため、処理速度と検証性能の両方を記録して選びます。再現性が必要な実験では、乱数シード、データのシャッフル方法、端数バッチの扱いもそろえます。

まとめ

ミニバッチ学習は、学習データを小分けにし、まとまりごとにモデルを更新する方法です。全件を使うバッチ勾配降下法より必要メモリを抑えやすく、1件ずつ更新するSGDより勾配を安定させやすいため、機械学習で広く使われています。

バッチサイズは32や64を出発点にできますが、固定の正解はありません。計算資源、処理速度、検証性能を測り、学習率やモデル内の正規化手法との関係も見ながら調整することが重要です。

更新履歴