形態素解析

日本語辞書は結構むずい

言語によっても使う辞書を使い分ける必要がある

辞書にない単語は認識できない

辞書はただ単に単語の羅列があるだけではなくコスト(単語の繋がりやすさ)の情報も入っている

形態素解析辞書MeCab

IPADic

スタンダード

unidic

硬い文章に使用する

NEologd

webデータを使用→ネット用語に強い

Lineの研究者が大学院時代から作っている辞書らしい