bigram
バイグラム
名詞
複数形: bigrams
bigramは、自然言語処理や計算言語学において、テキスト内の隣接する二つの要素(単語や文字)のペアを指す専門用語です。これにより、ある単語の次にどの単語が来る確率が高いかを統計的に分析することが可能になります。
n-gramとの関係性bigramは、より広義な概念であるn-gramの一種です。n-gramのnに2を代入したものがbigramにあたります。同様に、一つの要素をunigram、三つの要素をtrigramと呼びます。一般的に、nの値が大きくなるほど文脈をより詳細に捉えることができますが、同時にデータセット内で完全に一致するパターンが見つかる確率が下がるというトレードオフが存在します。
実用的な活用例
この概念は、主に以下のような技術の基礎として利用されています。
自動補完機能:ユーザーが入力した単語に基づき、次に続く可能性の高い単語を予測して提示します。
スペルチェック:単語の組み合わせとして不自然なバイグラムを検出することで、誤字や脱字を特定します。
機械翻訳:単語単体ではなく、二つの単語の連なりとして処理することで、より自然な訳文を生成します。
意味
名詞バイグラム
文字や単語などのトークンの列からなる、隣接する二つの要素の連続。主に確率論や自然言語処理で使用されること
The word "natural" and "language" together form a bigram in the phrase "natural language processing."
`natural`という単語と`language`という単語が組み合わさることで、`natural language processing`というフレーズにおけるバイグラムを形成する。
関連語
ngramunigramtrigramquadgramtokencorpuslinguisticsprobabilityfrequencysequencestringcharacterwordsyllablephonememorphemesyntaxsemanticscontextdistributionstochasticpredictionnatural language processingcomputationalgorithmpatternstatisticsprobability distributionlikelihoodconditional probabilitytransitionstatematrixvectortensorembeddingtokenizationlexiconvocabularyconcordancecollocationmutual informationentropyperplexitycross entropysmoothingbackoffinterpolationinformation retrievalcryptanalysiscipherfrequency analysisorthographygraphemedigraphtrigraphclustersliding windowadjacencypairtuplesetpermutationcombination