形態素解析
from 自然言語処理の基本と技術
形態素解析
自然言語処理ではふつう単語を一つの単位として扱っている
言語を構成する最小単位だから
文字を一単位として扱うよりも意味のある情報を得られるから
日本語テキストではわかち書きをしないため、単語分割の処理は容易でない
単語分割と品詞付与を同時に行う
自立語と付属語をつなげて分節を認識するのに品詞情報を使う
同時処理
形態素解析ソフトウェア（形態素解析器）としてMeCab
未知語の問題