Reflection 70B
https://huggingface.co/mattshumer/Reflection-Llama-3.1-70Bmattshumer/Reflection-Llama-3.1-70B
https://reflection-playground-production.up.railway.app/Demo
https://x.com/mattshumer_/status/1831767017507954808Reflection 70Bは、クローズドソースのトップモデル（Claude 3.5 Sonnet、GPT-4o）にも引けを取りません。 少なくとも）MMLU、MATH、IFEval、GSM8KではLLMのトップです。 テストしたすべてのベンチマークでGPT-4oに勝っています。 Llama 3.1 405Bを圧倒しています。 その差は僅差だ。
https://x.com/mattshumer_/status/1831767020519788778Reflection 70Bの原動力となるテクニックはシンプルだが、非常に強力だ。 現在のLLMは幻覚を見る傾向があり、そうなったときにそれを認識することができない。 Reflection-Tuningによって、LLMは自分の間違いを認識し、答えを約束する前にそれを修正することができる。
2024/10/5
@mattshumer_: My reproduction of Reflection 70B from Sahil’s dataset and training scripts is now complete, and unfortunately, the model didn’t achieve the benchmarks originally reported.
SahilのデータセットとトレーニングスクリプトからReflection 70Bを再現することができましたが、残念ながら、このモデルは当初報告されたベンチマークを達成できませんでした。
2024/10/2
https://glaive.ai/blog/post/reflection-postmortemUpdate on Reflection-70B
ベンチマークスコアが再現不可能であることについて、多くの誤解と混乱がありました。この事後分析を公開しているのは、モデルのベンチマーク スコアを再現する方法、ローンチ以降に何が起こったか、オープンソースの AI コミュニティから寄せられた質問に答える方法、そして私が犯した間違いに対する責任を明確に伝えるためです。
暫定評価
@ArtificialAnlys: Our evaluation of Reflection Llama 3.1 70B's MMLU score resulted in the same score as Llama 3 70B and significantly lower than Meta's Llama 3.1 70B.
A LocalLLaMA post (link below) also compared the diff of Llama 3.1 & Llama 3 weights to Reflection Llama 3.1 70B and concluded the
私たちがReflection Llama 3.1 70BのMMLUスコアを評価した結果、Llama 3 70Bと同じスコアとなり、MetaのLlama 3.1 70Bよりもかなり低いスコアとなりました。 LocalLLaMAの投稿（下記リンク）でも、Llama 3.1とLlama 3のウェイトの差分をReflection Llama 3.1 70Bと比較し、Llama 3のウェイトはLlama 3.1よりもReflectionのウェイトにかなり近いと結論づけています。
さらに調査を進めるが、これは基礎モデルがLlama 3.1 70BではなくLlama 3であることを示しているのかもしれない。 リフレクションのチームがこれを明らかにしてくれると助かる。
https://pbs.twimg.com/media/GW5b2x8WgAAVqZn.jpg
https://www.reddit.com/r/LocalLLaMA/comments/1fb6jdy/reflectionllama3170b_is_actually_llama3/Reflection-Llama-3.1-70B is actually Llama-3.
https://scrapbox.io/files/66dd5f57dad05d001d281418.webp
https://www.reddit.com/r/LocalLLaMA/comments/1fc98fu/confirmed_reflection_70bs_official_api_is_sonnet/CONFIRMED: REFLECTION 70B'S OFFICIAL API IS SONNET 3.5
https://x.com/DotCSV/status/1832904408188805429Carlos Santanaによる否定