web-dev-qa-db-ja.com

重複コンテンツ:テストおよび開発サイトがクロールおよびインデックス登録されないようにします

example.comでWordPressベースのサイトを元のコンテンツで実行しています。

次に、別のサイトをexample.meで実行します。これは、基本的に元のexample.comのすべてのexample.comのコンテンツと完全に一致し、これを使用しています- example.me新しいプラグインと機能を開発およびテストするためのテスト目的のみ。メインドメインに展開しますexample.com

example.meでデフォルトのWordPress設定を使用して、ロボットによるサイトのクロールを無効にしますが、WordPressは常に機能するとは限らないことを警告します。

このサイトexample.meexample.comの複製であり、インデックスに登録されていないことをGoogleにすぐに知らせる方法はありますか?

サイト全体に使用できる一般的な標準タグの種類

これを行うためのウェブマスターツールの設定はありますか?

2
Joe Bloggs

正規タグはドメイン全体で機能するように設計されているのではなく、ページごとに正規リンクを識別するように設計されています。最良の方法は、以下を含むrobots.txtファイルを使用することです...

User-agent: *
Disallow: /

このrobots.txtファイルがクローラーに伝えていることは、サイトをクロールまたはインデックス登録しないことです。クローラーがこのファイルを尊重するかどうかは彼ら次第であるため、セキュリティ上の理由からロボットへのアクセスを防ぐために使用することはできませんが、サイトが重複コンテンツでいっぱいであり、開発およびテスト環境で動作し、インデックス作成の理由でGoogleによるサイトのインデックス作成とクロールを防止します。

1