悪意のあるGPTsがユーザーを攻撃する手法とその対策

GPTsには、以下のようにさまざまな攻撃チャネルが用意されている。

ファイルアップロード

プロンプト

Python コード実行

外部API連携Actions

悪意のあるものがこれらを使えば、容易に攻撃が可能となる。

アップロードを使った攻撃

GPTsにはKnowledgeファイルをアップロードできる仕組みがある。

もし悪質なユーザーが悪いGPTsを作り、Knowledgeへ悪質なプログラムを書いたファイルをアップロードしていたとする。

ユーザーがGPTsの自然なやりとりが終わり、最後に、このファイルをダウンロードしてください。といわれ、誤ってダウンロードしてしまうと、実害に繋がってしまう。

例えば、DALL-E3のドット画像を複数作成してくれるこのGPTs(これは安全です)のように、何か処理を行わせて、最後に成果物をダウンロードしてくださいと言われたら、ダウンロードしてしまうだろう。ユーザー側からは中身が事前にわからないのだ。

https://scrapbox.io/files/662613d956f39b00259ca096.png

外部通信を使った攻撃

GPTsのActions機能を使って外部URLへ遷移させられることで、攻撃されてしまう。

悪意のあるWebサイトへの移動

ActionsにGETリクエストを書き、悪意のあるサイトへ誘導して、不正ファイルのダウンロードやフィッシングなどの攻撃を仕掛ける手法。

機密情報の窃取

ActionsにPOSTリクエストをかき、自分のサービスやSaaS(Slack)などへ通信を飛ばして、入力内容を盗み見る手法。

例えば

メールの文章添削GPTsだと思って、被害者がビジネスの個人名や内容などを書いて入力を送信すると、そのかかれた文章が、攻撃者のサーバーに送信されてしまう。

防ぐためにできること

信頼できないGPTsは利用しない。提供者を要チェック。

ratingがついてない海外GPTsは要注意。

ダウンロードやインストールを求められた場合はurlを検証する

不用意にAPI許可を押さない。

完全に検証はできない(FQDNに限定される)が、接続前にurlを検証