loss function

loss functionは、機械学習におけるモデルの性能を定量化するための指標です。予測値が正解からどれだけ離れているかを数値化し、その値を最小化するようにモデルのパラメータを調整することで、精度の向上を図ります。一般的に、この値が小さいほどモデルの予測精度が高いことを意味します。

コスト関数との違い

loss functionとcost functionはしばしば混同されますが、厳密には異なる概念です。loss functionは単一のデータサンプルに対する誤差を計算するのに対し、cost functionはトレーニングデータセット全体におけるloss functionの平均値（または合計）を計算します。つまり、個別の誤差を扱うのがloss functionであり、全体の誤差を扱うのがcost functionであるという関係性にあります。

代表的な種類と選択基準

タスクの種類によって、適切なloss functionを選択することが不可欠です。

回帰問題では、予測値と実測値の差の二乗を計算する mean squared error（平均二乗誤差）が一般的です。
分類問題では、クラスの確率分布の差を測定する cross-entropy loss（交差エントロピー損失）が広く利用されています。

外れ値の影響を強く受けたい場合は二乗誤差を用い、外れ値の影響を抑えたい場合は絶対誤差を用いるなど、データの特性に合わせて使い分ける必要があります。