Crawlerにindexされないようにする
noindex
を設定する
robots.txt
に値を入れる
crawler
の巡回を拒否するだけでインデックスとは直接関係ないという話を聞いたことがある
HTTP response header
に
X-Robots-Tag: noindex
を入れる