MoT

https://github.com/facebookresearch/Mixture-of-Transformers/raw/main/assets/MoT.png

このプレイブックは、独自のトランスフォーマーモデル上に Mixture-of-Transformers (MoT) アーキテクチャを実装するためのステップバイステップのチュートリアルを提供します。また、基本的な実装も含まれています。