ライブ配信前に検索エンジンを禁止する
ウェブサイトを公開する前に検索エンジンがインデックスを作成することを禁止したい。
単純にrobots.txtを実行する場合：
User-agent: *
Disallow: /
後で公開することを決めたときに問題が発生しますか？ （もちろん、アクセスする前に編集します）
いいえ、問題ありません。
アクセスを許可するように変更すると、googlebotなどの正常に動作するロボットがサイトを再びクロールします。
（悪いボットはもちろん常に無視します。）
ウェブサイトを公開する前に検索エンジンがインデックスを作成することを禁止したい。
単純にrobots.txtを実行する場合：
User-agent: *
Disallow: /
後で公開することを決めたときに問題が発生しますか？ （もちろん、アクセスする前に編集します）
いいえ、問題ありません。
アクセスを許可するように変更すると、googlebotなどの正常に動作するロボットがサイトを再びクロールします。
（悪いボットはもちろん常に無視します。）