LLM APIを試す
近日開始予定takker.icon
やる予定のこと
1. a OpenAI APIを触ってみる
scrapboxでも使えるAPIなので、取り回しやすそう
後回し
1. b ✅️Gemini APIを触ってみる
無料枠があるらしい
60リクエスト/分制限+学習されていいなら完全無料bsahd.icon
5-Day Gen AI Intensiveをやりますtakker.icon
2025-02-09
生まれて初めてLLM APIを動かした
/work4ai/5-Day Gen AI Intensive
programからLLMに聞いて答えをもらうところまでやった
1. c ✅ollamaを試す (takker)
2. 何かUserScriptを作ってみる
あまりネタが思いつかない
takker.iconがLLMを使っていないこともあり、「こうなると便利」というのも特にない
とりあえず既存のものを再実装してみる
あわよくばtakker.iconがやってくれるかもという下心でネタ共有mtane0412.icon
Book2ScrapboxのJSONをLLMでいい感じに整形できないかやりたい
これは自分でやれ案件かもしれない
整形前jsonと自分で整形したjsonをllmに食わせてプロンプト考えさせればよさげ
よさそうtakker.icon
と思ったけど、Devinで似たようなことを試したときはあんまりうまくいかなかった
takker.iconのプロンプトエンジニアリング能力が皆無なのが大きい
プロンプト以外の部分を組み立てられたらなんとかなるかな
#あとで読むみたいな一生読まないタグをLLMが変わりに読んでCosenseに書き込んでくれるやつmtane0412.icon
これよさそうtakker.icon
nishio.iconさんが使ってたコードも参考にすれば書けそう
2025-02-09 npm:@google/generative-aiで作ってみようかなtakker.icon
作ってみたいネタを羅列する
AskChatGPT
いちばん簡単そうなのがこれかな
/mrsekut-p/Cosense上のメモに適度に批判してくれるbot
これいいな
一生読まないタグをLLMが変わりに読んでCosenseに書き込んでくれるやつ
ScrapboxにLLMを住まわせる
/nishioさんのprojectに一時期あった、LLMがページを掘り起こしてコメント書くやつ
/nishio/AIと人間の知的な共同作業
/nishio/AIが毎日研究ノートを書く
コードを探しているが、すぐには見つからなさそう
nishio.iconさんに聞いてみよう
askai
プログラムからCosenseに書き込めたらできること
OpenAI API
今日LLMを触り始めるのに良さげなアプローチを知らないtakker.icon
とりあえずOpenAI APIから始めてみるつもり
解像度の粗い地図をご存知な方がいたらアドバイスしてほしい
参考になるかもしれないcak.icon
5-Day Gen AI Intensive
GPUあるならollamaもあり？mtane0412.icon
IntelのCPUに内蔵されているGPUくらいしか……takker.icon
あとはIntel第2世代あたりが出たころのNvideaのビデオカードがあります
以前LLaMA.cppを試したinajob.icon
うちも特にGPUはノートパソコンのCPUに内蔵されてるのしかない
LLaMA.cppをDockerで使う方法：初心者向け完全ガイド #LLM - Qiita
このままやったら普通に動いた
いまだにやってないのは技術的な難しさではなく課金されることへの恐怖だと思うのでollamaがいいのではないかnishio.icon
自分のマシンでRESTサーバが立ち上がる
自分のマシンでどの程度のものが動くのか試してみて「ローカルLLMだとまだポンコツだなー、こういうことをしたいのにできないか」みたいな気持ちになってから課金したらいいと思う
どっちの方法であれちゃんとAPIのドキュメントがあるのでCosenseをWebSocketで操作するのの100倍くらい楽
なるほどtakker.icon
ollamaか5-Day Gen AI Intensiveから試してみます
やっていない障壁がなんなのか自分でもよくわかってないtakker.icon
単に普段やっていないことをやるのはハードルが高いの延長線上な気もします
既存のリンクだと新しいことを始めるハードルが近いか
リンク先見たらほぼtakker.iconが同じ文脈で言及してるのばかりじゃん