llmにたくさんの文章を一つづつチェックしてもらう方法

taktamur.icon

アイデアを書き出しながら考えてます

すでになにかやり方やシステムがあると思う

やりたいこと

個人の日記ページ、2000ページほどを、llmにチェックしてほしい

個人情報や公開してはまずいものがないかチェックしてほしい

個人名とか電話番号も混ざってる

pythonでベタッと書くのもあり、、なんだけど、もちょい雑に、他で使いまわしできる方法が無いか？

scrapboxのjsonからテキストを読み取るのはなんとでもなる

すでに何かしらの仕組みが世の中にはあるように思う

アイデア スプレッドシートをDBとして使う←うまくいかなkった

日記を1ページ1行のGoogleスプレッドシートにしておく

llm側から10行ずつ読み込んで、チェックした日付と結果を書き込んでもらう

一度に全部処理させようとしたら、きっと途中で止まってやり直しになるから、途中から再開できるように

要調査 chatgptとかclaudeがGoogleスプレッドシートを読み込めたような気がするけど、ここまでできるかな？

NotionAIにもGoogledrive連携があったような。

→ClaudeAppからGoogleDriveを参照させようとしても、シートの中身までは読み取ってくれなかった

Docsならいけそうだったが

→ChatGPTのアプリからはGoogleDrive参照の設定がなさそうだった

Gemini APIの無料枠 & GASの制限を突破するためにトリガーを登録して順次処理したりexponential backoffを仕込む

繰り返しllmに問い合わせる、バッチシステム？的なものはすでにありそう

mcpサーバの出番なのかも？

Chaude App + sqliteのMCP

日記を全部sqliteに入れる

sqliteのMCPサーバ経由でllmにアクセスさせる

処理したら完了フラグをsqliteで記録していく

課題

llmが見逃すパターンがありそう

全面的には信用できない

、、が、個人の日記なので、そこまできにしなくてもいいか。

やばいパターン、これは個人情報が入ってるからng みたいな例題はいくつか用意しておいて、試しておいたほうが良さそう

動作確認用のセットが出来たら、モデル毎に試すことができそう