eba9620f987e,010
http://nhiro.org.s3.amazonaws.com/1/4/14276c728aac8d84a4f713d0b2410732.jpg https://gyazo.com/14276c728aac8d84a4f713d0b2410732
eba9620f987e,009 eba9620f987e,011
eba9620f987e
(OCR text)
未知語対策
「コーパスを増やせば未知語の割合が減るはずだ!
,減るのは事実だが、たとえWikipedia全文で学習しても
teppeisもymmtも出現しないので
両方同一のUNKトークンに害割り当てられてしまう
つまりこの2つの語を識別することはできない
·イマイチ
Nearest: eba9620f987e,023