robots.txt
Web クローラ(Web の内容をたどって自動的に取得するプログラム)に特定範囲のURLの取得を除外させるためのもの
About /robots.txt
http://www.robotstxt.org/robotstxt.html
robots.txt の仕様 (Google)
https://developers.google.com/search/reference/robots_txt?hl=ja
Robots Exclusion Standard (Wikipedia)
https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard
#標準