LLaDA
https://github.com/ML-GSAI/LLaDAML-GSAI/LLaDA
https://arxiv.org/abs/2502.09992Large Language Diffusion Models
これまでにない8Bスケールの拡散モデルであるLLaDA(Large Language Diffusion with mAsking)を、ゼロから完全に学習させたものです。 LLaMA3 8Bに匹敵する性能。
ウェイトファイル
https://huggingface.co/GSAI-ML/LLaDA-8B-BaseGSAI-ML/LLaDA-8B-Base
https://huggingface.co/GSAI-ML/LLaDA-8B-Instruct/GSAI-ML/LLaDA-8B-Instruct
diffusion llm