Phind-CodeLlama-34B

https://www.phind.com/blog/phind-model-beats-gpt4-fastPhind Model beats GPT-4 at coding, with GPT-3.5-like speed and 16k context

Phind Model V7 は HumanEval で 74.7% のpass@1 を達成

新しいモデルPhind-CodeLlama-34B-v2をトレーニングし、HumanEvalで73.8%のpass@1を達成しました。

https://www.phind.com/blog/code-llama-beats-gpt4Beating GPT-4 on HumanEval with a Fine-Tuned CodeLlama-34B

CodeLlama-34BとCodeLlama-34B-PythonをPhindの内部データセットで微調整した

Phind-CodeLlama-34B-v1はHumanEvalで67.6% pass@1

Phind-CodeLlama-34B-Python-v1はHumanEvalで69.5% pass@1

cf. GPT-4(23/3時点)は67%

モデル