生成AIに関連してなんやかんや - nyarla - 2026/6/2
nyarla.icon
AMD RX 9070 なんて知らねーと突然言われた
それまでは RX 9070 を認識していたので謎い
さっき Gemini のカットオフを言わせたら 2026年の6月だった
定額制のLLMを契約していないのもあって、どうにもLLMの富豪的利用を前提としそうな技法を試せていない 将軍のやつとか試してみたい気持ちはあるけど、Claude Code は高いんだよなー
諸々込みで月の自由費3万円で1万円近い出費は流石に厳しい
ただローカルLLMはカットオフの問題もあるし、GPU リソースも潤沢ではない
とは言え RX 9070 の VRAM は 16GB あるので、その状態でも試せると言えば試せるか
AI PRO RX 9700 とか Evo X2 とかが欲しい気持ち
Bonsai だと VRAM 16GB でも実用的にローカル LLM が利用できるのだろうか Bonsai でコーディング向けモデルが出たらいいんだけどなー
ローカル LLM、16MB のテキストをコンテキストに乗せるとか出来るんだろうか
流石に乗せすぎだろ、と思うけど、過去のブログ記事を読み込ませようと思うとそれくらいはある
どうなってんのあれ
お試しで5ドル突っ込んで数回短い会話をしただけで 0.2ドルほど消費している
なにか設定とかを間違えているのだろうか……
Gemini に推論させたところ、そんなもんらしい
マジか
Librechat か Open Web UI で環境を作り直すかなぁ……
とりあえず Open WebUI だけを立てた状態
Ollama とか llama.cpp は後で立てることとする
なんかデータの永続化に失敗してた……
設定周りが最初からやり直しです
まぁ大して設定してなかったから軽傷で済んだ
Open WebUIで色々な用途モデルを作成している
とりあえず知識を調べる系のやつは作った
他にも自分のスキルとかを深堀りできるやつとかを作ると良さそう
API 経由で利用しているとは言え、OpenAI と Anthropic、Google Gemini を比べると結構出力が違うよなーと思うなどした