tanh

tanhは、入力値を$-1$から$1$の範囲に収める数学関数です。この特性により、データの中心を$0$付近に保つことができるため、機械学習の分野、特にニューラルネットワークの活性化関数として広く利用されています。

シグモイド関数との比較

よく比較されるsigmoid関数は出力範囲が$0$から$1$であるのに対し、tanhは$-1$から$1$まで出力します。これにより、正の値だけでなく負の値も表現できるため、学習時の勾配の更新が効率的に行われやすく、多くの場合でsigmoidよりも学習速度が向上します。

勾配消失問題への影響

tanhは非常に有用な関数ですが、入力値が極端に大きい場合や小さい場合に、出力の傾きがほぼ平坦になるという特性があります。この状態になると、誤差逆伝播法において勾配が極めて小さくなる勾配消失問題が発生しやすくなります。そのため、現代の深いニューラルネットワークでは、この問題を改善したReLUなどの関数が併用されることが一般的です。