GGML
http://ggml.ai/
https://github.com/ggerganov/ggml
https://gigazine.net/news/20230607-ggml/
GPU不要・メモリ16GBの本当の一般家庭PCでチャットAIを動作させるライブラリ「GGML」が鋭意開発中、すでにRaspberry Piで音声認識AIを動作させるデモも登場済み - GIGAZINE
https://i.gzn.jp/img/2023/06/07/ggml/command-guided-0.gif
Raspberry Pi
上での動き
C言語
で開発されている
軽量化
TheBloke
さんがとにかく変換している