Crawlerにindexされないようにする
noindexを設定する
robots.txtに値を入れる
crawlerの巡回を拒否するだけでインデックスとは直接関係ないという話を聞いたことがある
HTTP response headerにX-Robots-Tag: noindexを入れる