robots.txt - standard

robots.txt

検索エンジンなどが参考にする基準になるもの

https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja

https://developer.mozilla.org/ja/docs/Glossary/Robots.txt

https://www.robotstxt.org/robotstxt.html

他