検索されたくない場合

例

検索されるのにそぐわないページを公開する場合

前方から順に到達してほしいなど。

管理者ログインページなど

テスト用の一時的な公開

認証でブロックする場合

認証済みユーザーだけが見られるべきページ

これは HTTP ステータスコード 403 ではじくのが一般的