Orca(LFM)
https://arxiv.org/abs/2306.02707
Orca: Progressive Learning from Complex Explanation Traces of GPT-4
Microsoft
開発の13億パラメータの
LFM
小さなモデルでLFMの出力を模倣することで能力を上げる研究がいくつかある
しかし、LFMがどのようにその出力を推論するかまでは真似できない
Orcaは
GPT-4
の
explanation trace
やStep by stepの思考過程等まで学習した
Orca : GPT-4の推論過程を模倣し、ChatGPTに匹敵する性能を有する13BのOSS言語モデル｜AstroPomeAI
もしかして
ORCa