SwissBERT

SwissBERTは、スイス関連のテキストを処理するためのMLMです。Swissdox@LiRIから取得した2100万件以上のスイスのニュース記事で学習されています。

SwissBERTは、81言語の言語アダプターを事前に学習させたX-MODをベースにしています。 SwissBERTでは、スイスの国語であるドイツ語、フランス語、イタリア語、ロマンシュ語のアダプターを学習しました。また、スイス固有のサブワード語彙を使用しました。