EdiT5
https://blog.research.google/2023/10/grammar-checking-at-google-search-scale.htmlGrammar checking at Google Search scale
Grammatical Error Correction(GEC) : 文法誤り訂正にTransformerを使う
Transformerが使えることはわかっていたが、Transformerデコーディングは、一度に1つのトークンしか処理させないため、TPUの能力を十分に活用できない
T5をベースにGECをテキスト編集問題として扱うことで、デコーダーのステップ数を減らす
デコーダーの層数を1層に減らし、エンコーダーのサイズを増やすことで、レイテンシーを削減する
LLMを教師モデルとして用いてハード蒸留することで、高精度な文法誤り訂正データを生成する
平均レイテンシーは4.1msになった
"Grammer check"を含めて文章をGoogle検索するとこれを使った文法チェックが行われる
https://gyazo.com/93f84a570bad92f7ddfc5e2dc9e74cf7
※Google USAのみ
#Google