stemming
stemmingは、主に自然言語処理や情報検索の分野で使用される専門用語です。単語の末尾にある接尾辞などを取り除き、単語をその根源的な形式である語幹に還元することで、異なる形態の単語を同一の概念としてグループ化することを指します。これにより、ユーザーが特定の単語で検索した際に、その派生語も含めて効率的に情報を抽出することが可能になります。
レマタイゼーションとの違い
似た概念にlemmatization(レマタイゼーション)がありますが、これらは処理方法が異なります。stemmingは単純に単語の末尾を切り捨てるルールベースの処理であるため、結果として得られた語幹が辞書に存在する正しい単語ではない場合があります。一方でlemmatizationは、単語の文脈や品詞を考慮して辞書的な基本形(見出し語)に還元するため、より正確ですが処理コストが高くなります。
実用的な活用例
例えば、検索エンジンにおいてfishing(釣り)という言葉で検索した際、stemmingを適用することで、fish(魚)やfisher(漁師)といった関連ワードも同時にヒットさせることができます。このように、表記上の揺れを吸収して検索精度を高めるための重要な技術として利用されています。
意味
液体や抽象的な力などの流れを止めたり制限したりすること
The stemming of the tide of refugees became a primary political concern for the region.
難民の流入を阻止することが、その地域の主要な政治的関心事となった。
情報検索を向上させるため、コンピューターサイエンスや言語学において単語を語幹や根源的な形式に還元すること
The search engine uses stemming to ensure that a query for running also returns results for run and runner.
その検索エンジンは、`running`というクエリで`run`や`runner`の結果も返されるようにステミングを利用している。
果物、野菜、または花から茎やヘタを取り除くこと
The recipe requires the stemming of the strawberries before they are sliced.
レシピでは、イチゴをスライスする前にヘタ取りをすることが求められている。
特定の源から発生している、または引き起こされている状態
The current economic crisis is stemming from a lack of investment in infrastructure.
現在の経済危機は、インフラへの投資不足に起因している。