EdiT5
Transformerが使えることはわかっていたが、Transformerデコーディングは、一度に1つのトークンしか処理させないため、TPUの能力を十分に活用できない
T5をベースにGECをテキスト編集問題として扱うことで、デコーダーのステップ数を減らす デコーダーの層数を1層に減らし、エンコーダーのサイズを増やすことで、レイテンシーを削減する
LLMを教師モデルとして用いてハード蒸留することで、高精度な文法誤り訂正データを生成する
平均レイテンシーは4.1msになった
https://gyazo.com/93f84a570bad92f7ddfc5e2dc9e74cf7
※Google USAのみ