GPTBot
https://platform.openai.com/docs/gptbotGPTBot
https://gigazine.net/news/20230808-openai-gptbot-web-crawler/OpenAIが将来のAIモデルの改善に向けたウェブクローラー「GPTBot」を発表、同時にAIによる無断での学習を防ぐためのブロック方法も公開