cost function

cost functionは、機械学習のモデルがどれだけ正確に予測できているかを数値化するための指標です。予測値と正解値の乖離（誤差）を計算し、その値が小さければ小さいほどモデルの精度が高いことを意味します。学習の目的は、このコスト関数を最小化する最適なパラメータを見つけ出すことにあります。

loss functionとの違い

実務上、loss function（損失関数）と混同されることが多いですが、厳密には異なる概念です。loss functionは単一のデータポイントに対する誤差を計算するのに対し、cost functionはデータセット全体におけるloss functionの平均値や合計値を計算します。つまり、個別の誤差をまとめたものがコスト関数であると言えます。

最適化における役割

コスト関数は、モデルを改善するための地図のような役割を果たします。例えば、勾配降下法などの最適化アルゴリズムは、コスト関数の値を下げる方向へパラメータを調整することで、モデルの性能を向上させます。どのようなコスト関数を選択するか（例えば平均二乗誤差や交差エントロピーなど）によって、モデルが何を重視して学習するかが決まるため、タスクに応じた適切な選択が不可欠です。