【これがゲームチェンジャーか!】松尾研のTanuki-8BとTanuki-8x8Bを試す

とにかく日本語性能がGemini1.5Proに次ぎ、少し前のGPT-4よりも高い上に商用利用可能という太っ腹仕様

しかし、Tanukiは特殊な何かをしてるらしくMLXに簡単にコンバートできずvllmで動かすときもちょっと魔改造したvllmが必要になる

llama.cppで動かすのは公式に非推奨とされている。

とりあえず「非推奨」とされてはいるものの、Macでもギリギリ動きそうなGGUF版を動かしてみた

なぜ？

tokenizerが正しくGGUF変換出来ているのか未確認

独自アーキテクチャであるTanukiForCausalLM として推論されず、MixtralForCausalLM として推論されてしまう

→ これでも動くんだという感じ。

じゃあこれはMixtralアーキテクチャを使っている？

→違った。LlamaForCausalLM使っている。これで動くのか。

code:json

"architectures": [

"LlamaForCausalLM"

大元見てもLlamaForCausalLMになっている。

ということはLlamaアーキテクチャベースにはなっているっぽい。