surprisal

surprisalは、情報理論においてある出来事がどれだけ意外であるかを定量的に表す概念です。確率が低い出来事ほど、それが実際に起こった時の驚き、すなわち情報量は大きくなります。そのため、統計的な予測可能性と反比例する関係にあります。

自己情報量との関係

実務上の文脈では、surprisalはしばしばself-information（自己情報量）と同義として扱われます。どちらも特定のメッセージやシンボルが持つ情報量を指しますが、surprisalという言葉は特に、心理言語学や認知科学の分野で、人間が言語を処理する際に感じる予測外の衝撃や処理負荷に焦点を当てて使われる傾向があります。

言語処理における応用

例えば、文章を読んでいる時に次にどの単語が来るかを予測し、その予測が外れた場合にsurprisalが高くなります。この値が高いほど、脳はより多くのリソースを消費してその情報を処理する必要があると考えられています。

予測しやすい単語（例：塩と胡椒の胡椒）は、surprisalが低く、処理が速い。
予測しにくい単語（例：塩と砂糖の砂糖）は、surprisalが高く、処理に時間がかかる。