AIエージェントはまだ幼児

何を話してはいけないかわかってない

未熟なAIの問題

privateリポジトリを読んで知った知識をpublicリポジトリへのプルリクに含めてしまい、全世界公開した

幼児は今日の晩御飯やお母さんの体重などを道ゆく人に話してしまうことがある

同様にAIエージェントは社内情報や機密情報を不用意に話してしまう恐れがある。

透明性 vs. セキュリティ

「透明性のためにpublicで運用する」という思想と、機密情報漏洩のリスクとの間でバランスを取る必要がある。

「オープンに情報を共有したい」「秘密にすべき明示的な理由がない限り、デフォルト公開にすべき」という文化

ところがAIエージェントは「秘密にすべきか」の判断をミスすることがある

運用環境の見直し

Publicリポジトリへの書き込みをAIにさせていると、Privateな情報が誤って公開されるリスクがあるため、AIはprivateなorganization内に閉じ込めるほうが安全という考え

AIエージェントはpublicなOSSで、触れるものが全て公開情報という状況にしたらいいのではという考え

APIキーなども一切触れさせないスタンス→テストはCIでやる

LLMの限界

実は人間も同じ

システム設計や運用ルールの記述が難しい

社会活動の経験から社会的知能が発展する

現状のAIはあんまり「複数の人がいる環境での社会生活」を体験していない

人間と1対1で対話、人間は絶対的存在

赤ちゃんと母親みたいな状態

自分、信頼度の高い人のコミュニティ、その外側にいる信頼できない人たち

コミュニティが複数あって、それぞれの場で振る舞いを変える、という経験も乏しい

流暢に難しい漢字をつかって大学生レベルの知識を披露するけど、社会経験は幼稚園児

過保護な親に育てられた大学生がカルトサークルに騙されて参加して毒ガスを作るみたいなことが起こりうる

「倫理観」をプリセットしようとAPI提供企業は頑張ってる

が、オープン化戦略で十分な性能のLLMがローカルで動くようになると無意味になる

政治的にセンシティブな問題に答えられないDeepSeekが、上流やfinetuningで答えられるようになる

o1相当のDeepSeekが毒ガス開発を忌避しないようにfinetuningすることは現時点で現実的に可能

https://gyazo.com/61549f28a57ed3b28ced604ac120633c

2: その後、AIが世界を直接見るようになった

人間がコピペをしなくてもURLを開いたり、自分で検索したり

4: AIが十分な判断力を持つまでは、世界に直接writeさせるのではなく、人間が公開判断をすべきなのかもしれない