web-dev-qa-db-ja.com

サイト全体のインデックスなし

私は新しいプロジェクトを終えています。私は過去数週間/数ヶ月間地元で働いています。次に、実サーバーとSQLデータベースで最初のテストを開始します。サイトをまだ公開したくないし、検索エンジンが準備が整うまでサイトを考慮に入れたくありません（それはすぐになりますが、1、2週間必要になります）。

私は、単一のページのためにそれを頭に入れるべきであることを知っています：

<meta name="robots" content="noindex" />

サイト全体について、そのコード行をすべてのページに配置する必要がありますか、それともより良い方法がありますか？

robots.txtnoindex
4
Nrc

Robots.txtを追加するニックの答えは、Googleのインデックス登録を停止しない可能性があります。クロールを停止するだけですが、Googleはインデックス登録する可能性があります- 公式リンクはこちら 。

メタnoindexの追加は、noindexタグが本番環境にプッシュされた場合の影響を認識していないチームで作業している場合、リスクが大きすぎます。

<meta name="robots" content="noindex">

ウェブサイトを保護するパスワードを使用することをお勧めします。 。そして、ユーザーと検索エンジンへのアクセスを停止する仕事をします。

5
AnkDasCo

Robots.txtを使用して、インデックスを作成したくないサイトでクロールを停止することはお勧めできません。

Googleがサイトをクロールしないようにすると、実際にページを見ることができなくなるため、noindexタグまたはヘッダーが表示されなくなります。したがって、ページがインデックスに登録され、robots.txtによってブロックされると、Googleはタグを削除するよう指示するタグを表示しません。

唯一の懸念事項がインデックス作成である場合（たとえば、ランダムな人間の訪問者がそれを見つけない場合）、サーバーにnoindexヘッダーを送信させることができます。

.htaccessを使用するApacheでは、次のようになります。

Header set X-Robots-Tag "noindex, nofollow"

詳細については、Yoastの記事を参照してください。 https://yoast.com/prevent-site-being-indexed/

1
ergophobe