最近、いくつかのドメインを購入しましたが、ドメインのコンテンツはまだ開発中です。
どのコンテンツをドメインにアップロードして、検索エンジンに「現在は何もありませんが、今後チェックしてください」と伝え、将来のコンテンツのクロール/ランキングのペナルティを受けないようにしますか?
Googleがサイトをクロールしようとしていることが心配な場合は、これらのすべてのサイトにrobots.txtファイルを追加し、以下のコードを含めます。
User-agent: *
Disallow: /
Googleは、サイトをスキャンする前に、そのサイトが存在することを知っている必要があります。そのため、サイトへのリンクまたはサイトのGoogle Webmaster/Google Analyticsアカウントをまだ作成していない場合、Googleはおそらくそれを知らないでしょう。さらに、Googleは、サイトを作成した後に空のサイトを作成したことに対してペナルティを科すべきではありません。これは、多くのドメインがセットアップされる前の通常の状態です。
可能なアプローチはほとんどありません(降順):
IPによるアクセスを制限する:特定のIPまたはサブネット(IPが動的な場合)のみがサイトにアクセスし、他のすべてのリクエストをブロックすることを許可する-最も信頼できるアプローチ。
空のページまたは「Coming Soon」テキスト(または素敵な大きな画像でテキストなし)を表示し、サブドメインを使用して現在のライブサイトにアクセスします(例:beta.example.com
)。残念ながら、検索エンジンがサブドメインを検出したり、そのリンク(Googleデスクトップ検索、@gmail.com
アドレスに送信されたメール内のリンク、誰かがリンクをどこかに公開し、インデックスに登録されたため、等)。
robots.txt
を使用します-これはそれを尊重するボットでは問題なく動作しますが、それ以外の場合は「保護」を提供しません。唯一の懸念事項がGoogle/Bingなどである場合は、正常に機能するはずです。
RandomBenが示唆するように、robots.txtを使用して拒否します。すべてのコンテンツが許可されていないことが検出された場合、検索エンジンのクローラーはあまり頻繁にアクセスしない場合があります。
ただし、サイトの準備が整ったら、robots.txtを変更し、Google(ウェブマスターツールから)、Bingなどに再送信してください。
ペナルティはないはずです。新しいrobots.txtを再送信すると、検索エンジンがサイトを適切にクロールしてインデックスを作成し始めます。