CosenseAIBoosterの意見をくれー
tokoroten.icon が cosense がAI統合されていないことにむしゃくしゃして、vive codingで開発中
Cosenseを拡張するChromeExtension、CosenseAIBooster
現状、コードの99%がAI製
https://github.com/tokoroten/CosenseAIBooster
https://gyazo.com/ea4ceecea9378887b869a944496dcef6
金になる気配が見えなかったので、現状MITライセンス、helpfeel社で買ってくれんかなw
LLMによる書き込みはWOMに該当するか
このへんの問題があるので、自動的に書き込むのではなく、ユーザの自発的な行動をトリガーにして書き込むようにしている
音声入力のデモ
https://x.com/tokoroten/status/1929659341961154973
音声入力
https://gyazo.com/f03b0607161c7d975a04a8b2eecd5153
音声入力は、PC Chromeに標準搭載されている、Web Speech APIのSpeechRecognitionAPIを利用している
https://developer.mozilla.org/en-US/docs/Web/API/SpeechRecognition
ChatGPTのプロンプトを適用、音声入力でぐちゃぐちゃになったテキストをAIに噛ませて成形する
https://gyazo.com/59a6c49ac42963e95733f54630bc41c8
https://gyazo.com/b1626c429350cb8759538c4c3b5a4617
開発の参考にするので意見をくれー、こんなプロンプトを標準搭載してくれってのを待ってる
知識検索のデモ
Cosenseって何?
https://gyazo.com/3a2d5bce1b912d99271fe9db9858a17a
Cosenseは、Scrapboxの拡張機能やサービスであり、ユーザーが情報を整理・共有するためのプラットフォームです。Scrapboxは、メモやアイデアを簡単に記録できるツールであり、特にリンク機能を使って情報を相互に関連付けることができます。Cosenseは、Scrapboxの機能を強化することで、より効率的に情報を管理し、チームでのコラボレーションを促進します。ユーザーは、プロジェクトや研究などの情報を視覚的に整理し、簡単にアクセスできるようになります。
ぶっちゃけると何がしたかったのか?
AudioPenのクローンが作りたかったのだが、Scrapboxにマイク入力とAIが生えてきたらそれで事足りるやんって思って作り始めた。Scrapboxはストレージサービス
Scrapboxはテキスト、画像のストレージとして、共同編集周りは優秀wogikaze.icon
ファクトチェックをかけてみる
fact-check
Scrapbox と AudioPen に関する主な主張を検証しました。重要語を [] で強調しています。
■ 「Scrapbox は ストレージサービス」
・判定:一部誤り
・根拠:Scrapbox はテキストや画像を保存できるものの、主目的は「リンクで思考をつなぐリアルタイム共同編集ノート」。汎用クラウドストレージ(例:Google Drive 等)のように容量無制限でファイル管理に特化したサービスではない。
・出典:https://scrapbox.io/product
■ 「Scrapbox はテキスト・画像の ストレージ として使え、共同編集 周りが優秀」
・判定:概ね正しい
・根拠:1ページ1秒保存、画像ドラッグ&ドロップ貼り付け、複数ユーザーの同時編集をリアルタイム同期。
・出典:https://help.scrapbox.io/ja/features
■ 参考: AudioPen とは
・概要:マイク入力した音声をテキスト化・要約する AI 搭載ウェブアプリ。
・出典:https://audiopen.ai
注:現在の公式機能として Scrapbox にマイク入力や生成系 AI が「標準搭載」されている事実は確認できません(2024-06 時点)。
infoboxはbsahd.icon
-----
意見とか、要望とか
sta.icon
(全部プロンプト次第でなんとかなりそう)
箇条書き化
before: はい 音声入力 音声入力がまあうまくぼ ちぼちと入っていきますでえっと開始ははいえーとですねこうやってスクラップボックス2枚 えっと音声入力をつけ ることに成功しましたいえ一音はいえーテキスト入力のテストです声入力テストですはいえーとどうでしょうか位 置が明らかにおかしいのでえ右端の辺で動作させてみます
after(例)
はい 音声入力 音声入力がまあうまくぼ ちぼちと入っていきます
でえっと開始ははいえーとですね
こうやってスクラップボックス2枚 えっと音声入力をつけ ることに成功しましたいえ一
音はいえーテキスト入力のテストです声入力テストですはいえーとどうでしょうか
位 置が明らかにおかしいのでえ右端の辺で動作させてみます
人次第?行単位でいじくることが多いので行単位で分解できると便利そう
tokoroten.icon プロンプト次第なので、これを弄ればプロンプトは自由に弄れます。
https://github.com/tokoroten/CosenseAIBooster/blob/main/src/store/index.ts#L52
👍sta.icon
フィラー言葉の削除
選択範囲に名前をつける
名前というかページタイトルに書くような単語やフレーズ?
「一言で表現して」とか?
好みかもですが、自分は名前をつけてそれを使って膨らませていく(部品化)ので、LLMで素案を出してくれると便利そうだと思いました
Helpfeel社内で稼働しているCosenseのLLM機能はあるらしいmtane0412.icon
少なくともDeepResearchっぽい機能はあるらしい
まだ表に出していない
音声入力便利そう、とりあえずGoogle Meet上で話すのをとりあえずCosense開いて話すみたいな使い方mtane0412.icon
タイピングが遅い人たちはCosense使えないので壁が一つ消える
Smart Contextを読み込んで議論できると嬉しいかもmtane0412.icon
+1terang.icon
Smart Contextを渡して頻出単語やそのプロジェクト独特の言い回しなどのを知らせておいたら、AI整形をいい感じに助けそう
API設定
プロバイダーにGoogle Geminiがほしいmtane0412.icon
無料枠で試したい(OpenRouterにもあるが)
OpenRouterはまだデバッグしてないので、少々お待ちをtokoroten.icon
OpenRouterのAPIキーが通らなかったのでOpenAIで作成
はい 音声入力のテストです 結構面白いなこれ いいですねmtane0412.icon
すごい!!