ローカルLLM

https://scrapbox.io/files/654ba8f9abcdf7001b46d2d2.png

Apple Siliconだとどうだろう。ユニファイドメモリな強みはあるが。

7B級くらいはLlama.cpp（CPUだけで動かそう！プロジェクト）があるのでApple Siliconで普通に動く。

ただ、RTXよりは結構違いがある。意外と健闘してるけど。

https://scrapbox.io/files/655485ce95bf5f001c04cc69.png

必要なメモリとGPU参考値。

https://scrapbox.io/files/655485dcded151001cb9f2bf.png

https://scrapbox.io/files/655485e689ad71001bde59e8.png

クラウド含めどのGPUを使うか？

https://scrapbox.io/files/6554f1f74c912b001b6e8b69.png

ちなみに全然余談だがここでGPUのバリューチェーン。

https://scrapbox.io/files/6554f25569fcd9001bd86a72.jpg