【DS検定対策】巨大データの学習を効率化！「ミニバッチ確率的勾配降下法」
深層学習で数万、数百万という膨大なデータを一度に学習させようとすると、サーバーのメモリがパンクしてしまいます。そこでデータを程よいサイズに小分けにして賢く学習を進めるのが、ミニバッチ確率的勾配降下法です。
1. 【 問題 】
深層学習（ディープラーニング）のパラメーター（重み）を最適化するアルゴリズムにおいて、すべての訓練データを一度に処理するのではなく、データを一定の小さなグループに分割し、そのグループごとに誤差（勾配）を計算してパラメーターを更新する手法を何と呼ぶでしょうか？
① バッチ学習（最急降下法）
② 確率的勾配降下法（SGD：1件ずつ処理）
③ ミニバッチ確率的勾配降下法（Mini-batch SGD）
④ ランダムフォレスト
2. 【 解答 】
3. 整理：データの処理方法による3つの違い
パラメーターを更新する（山を下るように最適解を探す）アプローチには、処理するデータの「塊（サイズ）」によって3つの選択肢があります。それぞれのメリット・デメリットを整理しましょう。
| 手法名 | 処理の単位（バッチサイズ） | メリットと弱点 |
|---|---|---|
| バッチ学習 （最急降下法） |
訓練データ全件（例：1000個）を一度に処理して、1回だけパラメーターを更新する。 | ◯ 動きが安定する。 ✕ メモリを大量に消費し、計算が非常に遅い。 |
| 確率的勾配降下法 （SGD） |
ランダムに選んだ「たった1件」のデータごとに、毎回パラメーターを更新する。 | ◯ メモリ消費が最小で、動きが速い。 ✕ 1件ごとのノイズに振り回され、挙動が激しくブレる。 |
| ミニバッチ学習 ★今回の主役 |
データを小分けにした「適切な塊（例：100個ずつ）」ごとにパラメーターを更新する。 | ◯ 両者のいいとこ取り。GPUの並列計算をフルに活かせ、ノイズも適度にいなせるため、現代の深層学習の主流。 |
4. 覚えておきたい関連用語：「エポック」と「イテレーション」
ミニバッチ学習を実装・運用する際には、以下の2つの単位がログや設定ファイル（ハイパーパラメーター）に必ず登場します。
・イテレーション（Iteration）: パラメーターを「1回更新」する単位。1000個のデータを100個ずつのミニバッチに分けた場合、1周するのに10イテレーションかかります。
・エポック（Epoch）: 訓練データ「全件を1通り使い切る」単位。1000個のデータをすべて1回ずつ学習に使い終えたら1エポックと数えます。
5. DS検定形式：実戦4択クイズ
問：ミニバッチ確率的勾配降下法において、分割された小さなデータグループ（ミニバッチ）のデータ数のことを何と呼ぶか。
① バッチサイズ ② エポック数 ③ 学習率 ④ ドロップアウト率
【 正解： ① 】
解説： グループ内のデータ数を「バッチサイズ」と呼びます。実務では 32、64、128、256 といった2の累乗の数値がよく設定されます。このサイズが大きすぎるとメモリ（VRAM）不足になり、小さすぎると処理の効率が落ちるため、インフラ環境に合わせて調整する重要なパラメーターです。
6. まとめ
DS検定において「訓練データをより小さなグループに分けて処理を行う」というアルゴリズムが出たら「ミニバッチ確率的勾配降下法」です。前回学んだ「ドロップアウト」などと組み合わせることで、現代の巨大なニューラルネットワーク（深層学習）は高速かつ頑健に学習できるようになっています！
