robots.txt
収集されたくないコンテンツをクロールされないように制御するファイル。
検索エンジンの
クローラー
(=ロボット)に自サイトにとって重要なコンテンツを中心にクロールさせることができ、
SEO
的にも、クロールの最適化が見込める。