quadgram
クアドラグラム
名詞
複数形: quadgrams
quadgramは、文字列から連続して取り出された4文字の断片を指します。これは、より一般的なngramという概念の特定のケースであり、文字数が4であるためこのように呼ばれます。主にテキストの統計的分析や、言語の自動判定、スペルチェックなどの計算言語学的な処理において、特定の言語に特有の文字パターンの出現頻度を測定するために利用されます。
分析における役割と利点
文字数が少ないbigram(2文字)やtrigram(3文字)に比べ、quadgramはより長い文字列を扱うため、言語の識別精度が高まる傾向にあります。例えば、特定の言語で頻出する4文字の組み合わせをデータベース化しておくことで、未知のテキストがどの言語で書かれているかを高い確率で推測することが可能です。
実用的な活用例
言語判定:文書内の各クアドラグラムの出現頻度を分析し、既知の言語プロファイルと比較して言語を特定すること。
暗号解読:暗号化されたテキストの中で、統計的に頻出する4文字のパターンを探し出し、元の平文を推測すること。
誤字修正:単語内のクアドラグラムが辞書にある正解の単語とどれだけ類似しているかを計算し、最適な修正候補を提示すること。
意味
関連語
ngrammonogramtrigrampentagramcharacterlettersymboltokenstringsequencepatternfrequencyprobabilitydistributioncorpustextlanguagelinguisticsphonemegraphemesyllablemorphemelexiconvocabularysyntaxsemanticscryptanalysiscryptographycipherencryptiondecryptionsteganographycompressionencodingdecodingalgorithmmodelpredictionMarkov chainprobability distributionstatisticscombinatoricspermutationcombinationindexhashtokenizationparsingsegmentationnatural language processingmachine learningartificial intelligencebigramentropycross entropyperplexitylikelihoodstochastic processsliding windowsubstringprefixsuffixinfix