4ab46088eec4,054
http://nhiro.org.s3.amazonaws.com/b/4/b4bc7bb6befacf2cf92a6f650a115c6d.jpg https://gyazo.com/b4bc7bb6befacf2cf92a6f650a115c6d
4ab46088eec4,053 4ab46088eec4,055
4ab46088eec4
(OCR text)
55
ランダム置き換え
MASKトークン(+)に置き換えるのでは
ランダムな0-9に置き換えた場合は?
なく
→MASK版は3エポックで正解するようになっ
たのにこちらは100エポックでもまだ間違える
(考察) 0-9は90%の確率で「素通しが正解」で
「これは置き換えられたものか?」のサブタスク
の学習が予想外に難しい
LO
LO
Nearest: 4ab46088eec4,047