Googlebot
Crawler
クロールを制限する
meta robots
X-Robots-Tag
HTML以外のファイルに対して
meta robots
と同じようなことをする
画像やPDFをインデックスさせたくない時など
HTTP Header
で指定する
robots.txt
常に設置すべき
noindexさせる云々関係なく
/mrsekut-book-4839966001/129
~
Rendering Budget
レンダリングバジェット
https://speakerdeck.com/yosuke_furukawa/xing-neng-niguan-surukao-efang?slide=18
Crawl Budget
クロールを促進する
新しいサイト、ページ数が多い時、などで効果的
XML Sitemap
Fetch as Google
RSS
/
Atom (ウェブコンテンツ配信)
全URLではなく、直近2週間のURLを記載するなどする
Websub
PubsubHubbub
/mrsekut-book-4839966001/124 (Chapter 4 Googlebotの制御)
~