phi-1
https://huggingface.co/microsoft/phi-1
https://arxiv.org/abs/2306.11644
Textbooks Are All You Need
1.3Bパラメータの
Code LLM
Web上の教科書品質のデータ(6B)と、GPT-3.5で生成された教科書(1B)を使って学習させた
HumanEval
で50.6%
350Mで45%なのもいい
wogikaze.icon
https://gyazo.com/e378fbc51a6229501320555c67629e9e
All You Need
#Microsoft