技術 #2024
/MistMavGamer
GenWarp
https://genwarp-nvs.github.io/
ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering - リアルタイムで動的な人物のためのアニメーション対応Gaussian Splattingアプローチ！
LLaVAの手法を使用してllm-jp/llm-jp-1.3b-v1.0のような軽量なLLMをベースに画像に対応したマルチモーダルなLVLMを学習させるためのコードです。
https://github.com/tosiyuki/LLaVA-JP
Llama3にVision組み合わせる
https://note.com/astropomeai/n/n89124686697f?sub_rt=share_h
MediaPipe × TouchDesigner
https://yoppa.org/mit-design4-22/14113.html
3Dのスケール問題
WebXR×Quest3
https://x.com/ninisan_drumath/status/1787056225949286490
ぷらとーで映像作品作る
https://www.mlit.go.jp/plateau/learning/tpc26-2/
生成AI（ComfyUI）
https://note.com/studiomasakaki/n/n09223f339e4a
https://www.techno-edge.net/article/2024/01/31/2720.html
https://zenn.dev/4kk11/articles/4e36fc68293bd2
https://twitter.com/studiomasakaki/status/1773203648153112822
Blender × GPT-4
LLMソフトウェアエンジニア
https://tech.algomatic.jp/entry/2024/04/04/180922
LLM PresenterつくれるくらいのUE力
https://logmi.jp/business/articles/329806
memGPT×ローカルLLM
https://ykrv.net/blog/20240407
swallow-mx触る（優先度高）
https://x.com/umiyuki_ai/status/1767413191041229135?s=20
bitnetなんでうまくいくん
https://twitter.com/npaka123/status/1768014669414105147
プロンプト生成するためのプロンプトエンジニアリング
https://twitter.com/RubenHssd/status/1768302411796349277
読む（パラメータ盗むやつ）
https://not-just-memorization.github.io/partial-model-stealing.html
Perplexityの可視化
https://x.com/moebio/status/1768327262422655325?s=20
3D AI Agentは普通に参考になるのでは
https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/
https://twitter.com/_akhaliq/status/1768490310290530385
voyagerとかもか？
HumoGen
https://twitter.com/humogen11384
メッチャきれいな画像はかせるプロンプト生成
https://twitter.com/hirokichi_pd/status/1767544539018047643
dust3r
https://github.com/naver/dust3r
MLX
https://github.com/ml-explore/mlx-examples/blob/main/llms/mlx_lm/LORA.md
HFのクックブック見るとプロンプトチューニングのやり方とかも載っているのでGood
https://github.com/huggingface/cookbook/tree/main/notebooks/en
https://x.com/awnihannun/status/1799159635196387717?s=46
60行でGPT
https://mlwizardry.netlify.app/nlp/gpt-from-scratch/
https://tjo.hatenablog.com/entry/2024/02/23/184619
https://github.com/jaymody/picoGPT
LLMにいたる流れ
https://speakerdeck.com/kyoun/llm-introduction-ses2023
CG情報
https://cglibraries.wixsite.com/cglibrary
awesome-audio-visualization
https://github.com/willianjusten/awesome-audio-visualization
https://virl-platform.github.io/
喫煙所、ゴミ箱マップ
読む（優先度高め）
https://arxiv.org/html/2401.17807v1
タスク管理
https://soudai.hatenablog.com/entry/2020/12/31/165940
ファインチューニング
Gemmaのファインチューニング
https://gist.github.com/alfredplpl/e20cad036c151f38645a1abc87f56a2f
https://gist.github.com/alexweberk/635431b5c5773efd6d1755801020429f
https://www.reddit.com/r/LocalLLaMA/comments/1aydopt/gemma_locally_on_ios_android_web_browsers_and
トークナイザ理解
https://dalab.jp/archives/journal/japanese-llm-tokenizer/
NLPお勉強系
https://twitter.com/shunk031/status/1756140168019575040
PRMLとかの輪読資料（松尾研）
https://deeplearning.jp/seminar-2/#1646371993774-baeebddd-8411
Unity × Quest3のサワリ
TouchDesigner
https://www.youtube.com/playlist?list=PLH6Y6o7cLK9hj0KpPr-5iWVUZcrioBMY8
https://backspace-productions.notion.site/2024-6b5a930e001048c7b8884241c1cde387
✅日本語のデータセット（性格あり）
https://github.com/nu-dialogue/real-persona-chat/
利用してみている
✅ローカルLLMはこうやって使うの
https://gist.github.com/kyo-takano/c662c1bfa1e7fe440511b11f62521a7e
✅ゲームポーティングツールキットとかそこらへんのやつ
https://x.com/karan_corons/status/1752990442424344629
Game Porting Toolkit
✅aici
https://www.microsoft.com/en-us/research/blog/ai-controller-interface-generative-ai-with-a-lightweight-llm-integrated-vm/
AICI
✅Depth Anything
https://twitter.com/nanase_ja/status/1749484958522204605
✅Unity
https://www.youtube.com/watch?v=7R7_xJGdY8k
ざっと流し見。カメラからみえる位置にオブジェクト（ビル）を実際にちょこちょこ配置していく様子とか
✅Wasm × 機械学習
https://www.tkat0.dev/posts/deploy-ml-as-wasm/
✅Udemy：Blenderのやつやった。それ以外もやっていく
Unreal EngineとかTouch Designerとか触りたかったクリエイティブ系のやつガンガンやりまくるで良いかも
クリエイティブ系、AI系、3D系、Quest 3アプリ（これもUdemy）で良いのでは
https://x.com/h1i9r8o1/status/1741623613391016220
https://x.com/happy_modeling/status/1741625333760352310
https://x.com/Txx_CG/status/1741640837422080196
✅みっどじゃーにーからの3d
https://twitter.com/norod78/status/1765312783531258223
https://twitter.com/toyxyz3/status/1767756756757975493
✅Mamba
✅3Dモーション生成
https://guytevet.github.io/mdm-page/
✅triposr × 家具
✅Claude使う
✅：Dockerオルタナティブ
https://zenn.dev/cloud_ace/articles/docker-desktop-verification
✅：SD turboを動かしてみる
https://twitter.com/cyrildiagne/status/1738509503941984591
✅：ChatDev触る
ChatDev動かす
✅：iPhoneでローカルLLM（日本語）をある程度まともに動かす
llmfarmでrinna/nekomata
https://huggingface.co/rinna/nekomata-7b-instruction-gguf
まず重すぎるのでiPhoneかっくかくになる
後生成できてもわけわからん日本語を吐く（何とか商店〜とか）
この現象calmとかと一緒。そもそもllamafarmが日本語相性良くないのでは？
llama.cpp動かしてみる
https://zenn.dev/turing_motors/articles/59c829daaa3307
このときとはソースコードのバージョンがかなりアップデートされている
UI開くとcustom llm読み込むボタンがあるので押すだけ
実機デバッグ
XCodeアップデートしないとiOS17動かなかったのでアップデート
Bundle Identifierは既に登録されているので自分用に適当に末尾加える
Load Custom ModelでローカルのLLM読み込む方法はうまくいかなかった
ContentView.swiftに追加したいLLMを入れ込む
code:swift
DownloadButton(
llamaState: llamaState,
modelName: "ELYZA-japanese-Llama-2-7b (Q4_0, 3.9 GiB)",
modelUrl: "https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf/resolve/main/ELYZA-japanese-Llama-2-7b-fast-instruct-q4_0.gguf?download=true",
filename: "ELYZA-japanese-Llama-2-7b-fast-instruct-q4_0.gguf"
)
ELYZA-japanese-Llama-2-7b-fast-instruct-gguf → アプリ落ちた。4GBが限界か？
TinyLlama → 意味わからん返答
https://huggingface.co/TheBloke/calm2-7B-chat-GGUF/blob/main/calm2-7b-chat.Q3_K_S.gguf
これがよかった！
mlcやってみる
https://zenn.dev/uakihir0/articles/231014-line-llm-on-iphone
✅：WebGPU
WebGPU
https://www.tkat0.dev/posts/deploy-ml-as-wasm/
✅：VPS / ボリュメトリックビデオ
読んだ：MoAR - Museum of AR Advent Calendar 2022
✅：Wasmer JS SDK
新しい Wasmer JS SDK の紹介
イメージとしてWamerのRegistryができてそこにPythonとかがあったりする、それを読み込んでJSから利用できるし、自作をRegistryに突っ込んだりも可能
https://docs.wasmer.io/javascript-sdk
もちろん他にも色んな機能ある
https://docs.wasmer.io/javascript-sdk/tutorials/run
これをやってみる
Rustを入れた（rustup）
https://www.rust-lang.org/ja/tools/install
手順通りにやるが、最後にcargo buildする前に下記が必要（記事中にも書いてあるが後ろに書いてある）
rustup target add wasm32-wasi
Wasm作れたが最後のWasmのインポートでうまく動かず一旦ペンディング
✅：NeRF / Gaussian Splatting
NeRF / 3D Gaussian Splatting
✅：iPhoneでローカルLLM
はい。この量子化したモデルを動かしています。
calm2-7B-chat-GGUF
Using LLMs locally on iPad or iPhone
この通りにやってみた。llama.cpp等を参考にしたllamafarm。iPhone上にてモデルをダウンロードし読み込ませる
まずはELYZA使ってみたが全然使い物にならず
https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf
次に上記calm2使ってみる
現実的な速度で生成するものの全然狙い通りの回答得られずやめた
https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-13b-fast-instruct-gguf/tree/bd8556cccb46dda6250c112c680aa8c76e6e3000
ちなみにQ6は重すぎてアプリが落ちた
✅：StreamDiffusion
https://twitter.com/yokoseka/status/1738142300734460091
https://twitter.com/cumulo_autumn/status/1737835563464687830
CUDA対応デバイスのみとのことで終了のお知らせ
https://github.com/cumulo-autumn/StreamDiffusion/issues/34
✅：ローカルLLM
✅：WasmでローカルLLM
https://blog.stackademic.com/fast-and-portable-llama2-inference-on-the-heterogeneous-edge-a62508e82359
llama.cppと何が違うの？
https://github.com/second-state/llama-utils を使ってる
これはllama.cppとかllamaとかに対してOpenAI互換のAPIを提供するアプリ
なのでllama-utilsをインタフェースにして叩けるようにしましたよって感じ
llama-utilsはWasmで動く
つまりは上記ブログはllama-utilsの紹介でもある
llama自体はgguf版を使っている。llama.cppとかでも使うやつ
wasmedge --dir .:. --nn-preload default:GGML:AUTO:llama-2-7b-chat-q5_k_m.gguf llama-chat.wasm
これで動いた。ただし返信末尾にエラー出る
Error: Backend Error: Unknown Wasi-NN Backend Error Code 100
https://scrapbox.io/files/6596191418d582002237824c.png
✅：https://www.reddit.com/r/LocalLLaMA/comments/17o0m5o/open_source_i_went_viral_on_x_with_bakllava/
llama.cppとは何者なのか？
llama.cppを導入する
READMEに記載の通りリポジトリcloneしてmakeするのみ
デフォルトでGPU有効なので本当にmakeのみ
全ての流れはGitHubにかかれている
https://github.com/Fuzzy-Search/realtime-bakllava?tab=readme-ov-file
https://scrapbox.io/files/6596b9b0fda06a002344a553.png
動いた！本当にリアルタイムに動く。体感2秒毎くらいにテキストが吐き出される
✅：MLおさらいする
機械学習エンジニアに爆速でなるための教材集
サラッと見た
LLMへ至る道 Advent Calendar 2023
サラッと見た
✅：家の積読（機械学習エンジニアのためのTransformers、コンピュータビジョンのための実践機械学習）
自作Transformer
https://vgel.me/posts/handmade-transformer/
✅：OSS LLM触る
✅：https://tech-blog.abeja.asia/entry/advent-2023-day21
✅：ELYZA-japanese-Llama-2-13b-fast-instruct-gguf
https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-13b-fast-instruct-gguf
https://note.com/elyza/n/n5d42686b60b7#1439cffc-fda2-46f8-aa7f-774c722f58a6
llama.cppで上記ELYZAを動かす
wgetはないのでcurl -LOで落とす
curl -LO https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-13b-fast-instruct-gguf/resolve/bd8556cccb46dda6250c112c680aa8c76e6e3000/ELYZA-japanese-Llama-2-13b-fast-instruct-q6_K.gguf
./main -m 'ELYZA-japanese-Llama-2-13b-fast-instruct-q6_K.gguf' -n 32 -p '富士山の高さは？'
https://scrapbox.io/files/6596c53ce327c500244e33c4.png