Draft DistilBERT
BERT を Distillation (蒸留) で軽量化したモデル
パラメーター数が BERT 比で
https://scrapbox.io/files/641fcad3a64665001c51284a.png
DistilBERT で誤字・脱字検出する
OpenAI API を用いた文書校正(誤字脱字検出) | blog.jxck.io
BERTのMasked Language Modelを利用して文の校正を行う - Qiita
LINE-DistilBERT-Japanese/README_ja.md at main · line/LINE-DistilBERT-Japanese · GitHub
日本語Wikipedia入力誤りデータセット - KUROHASHI-CHU-MURAWAKI LAB
https://www.anlp.jp/proceedings/annual_meeting/2021/pdf_dir/E8-3.pdf
https://github.com/huggingface/transformers/blob/cae78c46d658a8e496a815c2ee49b9b178fb9c9a/examples/pytorch/language-modeling/run_mlm.py#L588