ローカルLLM
Large Language Model
Transformer
instruction 系の LLM のプロンプトのフォーマット
https://zenn.dev/platina/scraps/515e1b00f7c4af
“日本語に強い”大規模言語モデル「Swallow」LLM開発における4つのキーポイント
https://logmi.jp/tech/articles/330257
GPUメモリに限りがある状況（16GB T4や24GB RTX3090など）でも大規模な言語モデルを高パフォーマンスで実行できる「FlexGen」が公開
https://twitter.com/Yamkaz/status/1627816629878018048?s=20
自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす｜karaage0703
https://zenn.dev/karaage0703/articles/de7045e9792623
大規模言語モデルをシングルGPUで動かせる!? FlexGenを触ってみた
https://dev.classmethod.jp/articles/flexgen-in-colaboratory/
ChatGPT同等のモデルがMacbook Proで動く様子。
https://github.com/ggerganov/llama.cpp
Running facebook opt-1.3b on FlexGen on GPU T4 * 2
https://www.kaggle.com/code/masaishi/running-facebook-opt-1-3b-on-flexgen-on-gpu-t4-2/notebook
Jetson AGX XavierにFlexGenをインストールして大規模言語モデルを動作させることに成功しました！！！
https://twitter.com/AGIRobots/status/1633804197060804608?s=20
手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)
https://note.com/masa_kazama/n/nabaa6dfec741
しかし、Alpaca-LoRAというモデルを用いることで、手元で独自のデータを使って日本語のファインチューニングが可能になります。Google Colabを使うことで、コストを抑えて、数時間でのファインチューニングが可能です。これにより、より柔軟な応用が期待できます。
https://twitter.com/johnjnay/status/1635271974137245697?s=20
Open-Source ChatGPT Replication
-LLM fine-tuned on 43 million instructions
-Extensible retrieval system to augment bot responses with info from external data
-Smaller LLM fine-tuned to filter which questions bot responds to
-Decentralized training
https://twitter.com/_akhaliq/status/1635461276712222723?s=20
High-throughput Generative Inference of Large Language Models with a Single GPU
https://twitter.com/aicrumb/status/1635373985478381568?s=20
I think I'll be trying to replicate alpaca (since the model isn't open yet), if you haven't seen, Stanford finetuned llama-7b into a model that outperforms text-davinci-003 and releases their dataset they used to do it along with hparams
Alpaca-loraを日本語タスクでファインチューニングする
https://qiita.com/toshi_456/items/280efc31950ddb083286?utm_campaign=post_article&utm_medium=twitter&utm_source=twitter_share
RNNでTransformer並みの性能を実現するRWKVがやばい
https://zenn.dev/hikettei/articles/5d6c1318998411
大規模言語モデルを自社でトレーニング＆活用する方法
https://note.com/mahlab/n/n15969add8558
日本語OSS
https://twitter.com/sudy_super/status/1680148471821529090?s=20
ローカルLLM実践入門
第1章 ローカルLLMの概要
第2章 ローカルLLMをサクっと使えるChatGPT風ツール Jan
第3章 ローカルLLMを活用できるコマンドラインツール Ollama
第4章 ローカルLLMを活用：画像の内容を説明
第5章 ローカルLLMを活用：コードの作成を支援
第6章 ローカルLLMを活用：LLMの回答を読み上げる
第7章 ローカルLLMが快適に使える最適なパソコンを自作しよう