eba9620f987e,009
http://nhiro.org.s3.amazonaws.com/3/8/38d7a5fb0d55bb9500dca3c25306320b.jpg https://gyazo.com/38d7a5fb0d55bb9500dca3c25306320b
eba9620f987e,008 eba9620f987e,010
eba9620f987e
(OCR text)
未知語の問題
AP
* 学習に使ったコーパス 84035words, 5217vocab
テストに使ったコーパス 163708words, 10167vocab
10167vocab中、学習コーパスに含まれる語は2893だけ
出現回数ベースだと163708words中142311、87%
つまり13%の頻度で未知語が出現する
→実質26%(=4単語に1つ)伏せ字の状態
Nearest: eba9620f987e,008