形態素解析
Morphological Analysis
あらかじめ用意された辞書に基づいて、品詞の単位で分割する
N-gram
に比べて、無駄な量の単語リストを作らないので、検索処理を高速に行える
弱点
形態素解析をミスると、検索漏れを起こす
例えば、
「チョコレート」と解析してインデックスを作ると、「チョコ」では引っかからない
「東京都」と解析してインデックスを作ると、「東京」では引っかからない
形態素
意味を持つ最小単位
手段
隠れマルコフモデル
条件付き確率場
など
形態素解析エンジン
Chasen
MeCab
など