ngram

ngram（エヌグラム）は、自然言語処理や計算言語学において、テキストデータから連続するn個の項目（文字や単語）を抽出した断片を指します。この手法を用いることで、単語の出現パターンや統計的な傾向を把握でき、予測入力やスペルチェック、機械翻訳などの基盤技術として広く活用されています。

項目の単位による違い

ngramで抽出される項目の単位によって、その目的が異なります。
単語単位のngram：単語の並び順を分析し、次にどの単語が来るかを予測する場合に用いられます。例えば、nが2の場合はbigram（バイグラム）、3の場合はtrigram（トライグラム）と呼ばれます。
文字単位のngram：文字の並びを分析し、未知の単語の形態や言語の特定、誤字脱字の検出に利用されます。

分析における利点と限界

ngramは実装が非常にシンプルであり、計算コストを抑えつつ効率的にテキストの統計的性質を抽出できる点が大きな利点です。しかし、nの値を大きくしすぎると、データセット内で完全に一致する配列が見つかる確率が極端に低くなるため、汎用性が失われるという課題があります。そのため、実際の運用では文脈を捉えるのに十分な最小限のnを選択することが重要です。