ウェアラブルデバイスを活用して視覚情報のコンテキストを含めたAIとの協働作業を考える

from

メタバース内でエンジニアリングするとして、そのメタバースの画面や端末、ポモドーロなどをテキスト化してLLMに食わせるとどうなるか

時間の使い方の意図や試行錯誤を言語化していれば、別にポモドーロでなくともよいが、あらゆる知的生産物のアウトプットに至るまでの思考の癖や見えづらい部分を客観視できるのではないか

知的生産行為の作業環境をメタバースにつくるというのがポイントか

ライフログを全て取るのは無理でも現実的なのかもしれない

具体的にはウェアラブルデバイスやMRで視覚のコンテキストをLLMsに渡す仕組みができると、何か面白い知的生産やAIとの協働ができそうだ

キーワード

ライフログや視覚情報をどう取るか

XREAL, Visorのスクショ

↑で取得した視覚情報をGyazoかGoogle LensでOCRする

↑で取得した文字情報をScrapboxに展開する