electraの実装 - 🍊miyamonz🍊

electraの実装

electraの実装

https://github.com/google-research/electra

google公式の

Huggingface/Transformersにも入ってる

https://huggingface.co/transformers/model_doc/electra.html

https://github.com/richarddwang/electra_pytorch

再現性確認した感じっぽい

コード見るとわかるがtransformersつかってる

https://discuss.huggingface.co/t/electra-training-reimplementation-and-discussion/1004

https://github.com/lucidrains/electra-pytorch

これReformer使ってるがちゃんと動いてるのかな

https://github.com/lucidrains/reformer-pytorch

こっちはかなりstarきてる

参考にはなる

https://github.com/lonePatient/electra_pytorch

huggingface見ろ、とは書いてあるが一応