stochastic gradient descent

stochastic gradient descent（確率的勾配降下法）は、大規模なデータセットを扱う機械学習において、計算効率を劇的に向上させるための手法です。通常の勾配降下法（batch gradient descent）がすべてのデータを一度に処理して勾配を計算するのに対し、この手法はランダムに選ばれた少数のデータ（または単一のデータ）のみを使用します。これにより、メモリ消費量を抑え、学習速度を大幅に速めることが可能です。

計算効率と精度のトレードオフ

この手法の最大の特徴は、計算コストの削減と引き換えに、更新プロセスにノイズが導入される点にあります。単一のデータに基づいた更新であるため、損失関数の値は激しく変動しますが、このランダム性が局所解（local minimum）から脱出し、より最適な解（global minimum）に到達する助けとなる場合があります。

batch gradient descent: 全データを使用するため安定しているが、計算時間が非常に長い。
stochastic gradient descent: 1つのデータを使用するため高速だが、挙動が不安定である。

実用的な最適化手法との関係

純粋な stochastic gradient descent の不安定さを解消するために、実際の実装ではミニバッチ勾配降下法（mini-batch gradient descent）が広く採用されています。これは、全データでも単一データでもなく、適度なサイズのグループ（バッチ）ごとに勾配を計算する手法であり、計算速度と安定性のバランスを最適化したものです。また、学習率を動的に調整する Adam や RMSprop といった最適化アルゴリズムも、この確率的なアプローチを基盤として発展しています。