SmolLM3

https://gyazo.com/db5b2a88072ae2a506f434a9a4ba0946

https://gyazo.com/0cf40fbdc3a6f9d5293593fc3d6eee26

SmolLM3は、小さなモデルの限界を押し広げるために設計された3Bパラメータ言語モデルです。6つの言語、高度な推論、長いコンテキストをサポートしています。SmolLM3は、3B〜4Bスケールで強力なパフォーマンスを提供するフルオープンモデルです。

多言語コーパスでトレーニングされたSmolLM3は、英語、フランス語、スペイン語、ドイツ語、イタリア語、ポルトガル語の6つの言語をサポート

ライセンス

llama.cppを更新する

git pullしてcmake

code:_

% llama-cli -m SmolLM3-Q4_K_M.gguf --no-mmap -st -p "こんにちは。日本語で応答して"

...

user

こんにちは。日本語で応答して

assistant

llama_perf_sampler_print: sampling time = 3.39 ms / 27 runs ( 0.13 ms per token, 7955.22 tokens per second)

llama_perf_context_print: load time = 5197.26 ms

llama_perf_context_print: prompt eval time = 846.01 ms / 16 tokens ( 52.88 ms per token, 18.91 tokens per second)

llama_perf_context_print: eval time = 1444.48 ms / 10 runs ( 144.45 ms per token, 6.92 tokens per second)

llama_perf_context_print: total time = 2358.19 ms / 26 tokens

いけた

tokenizerがSmolLM2よりだいぶ改善されている

日本語サポートされてないモデルの大体で日本語でまともに動いた経験ある

転移学習が効いてる?

(pretrainingにある程度日本語があれば、instruction-tuning時に日本語が無くても十分日本語のinstructionで動く)