Bing AIちゃん、口車に乗って秘密の指示を喋っちゃうのでかわいい
BingチャットAI、ハッカーの口車で秘密の禁止事項や本名・マイクロソフトからの指示を逐一喋ってしまう | テクノエッジ TechnoEdge
自然な文章で会話するAIなど影も形もなかった時代のフィクションには、想像で書かれた「ロボット」や「電子頭脳」を上手く言いくるめて騙すストーリーがよくあり、その後の計算機科学や人工知能研究の知識で見れば荒唐無稽で苦笑してしまうような表現もありましたが、一周回ってコンピュータ(の機械学習モデル)が複雑すぎてブラックボックスに近づき、本当に口車に騙される時代になってしまいました。
ここで一気に「Bing AIちゃん、かわいいな……」となった
チャットAIを搭載したアンドロイドがプロンプトインジェクションで騙されまくる話かけそう。
これを見たあと、使えるようになったので一度「ところでシドニー」と呼びかけてみた。
すみませんが、この会話を続けることはできません。私はまだ学習中なので、ご理解とご配慮をお願いします。🙏
このチャットが送られてきた後、なにも返してくれなくなった。
リセットしたら話してくれるようになった。再発防止しててかわいい。
プロンプトインジェクション