web-dev-qa-db-ja.com

X-Robots-Tagを含むページ:noindexはSearch Consoleのツールを使用して削除されましたが、現在は再びインデックスが作成されています

これらの不要なページをnoindexにしました(「X-Robots-Tag:noindex」HTTPヘッダーを使用)。次に、検索コンソールの[URLの削除]ツールを使用してこれらのページを削除しました。

これらのページはしばらくの間Googleから姿を消しましたが、今では戻ってきています(そして、私は本当にそこにはいりません)。

私は何が欠けていますか?

追伸現在、これらのページは、検索コンソールの「URLの削除」に「期限切れ」として表示されます。

編集:これらのページはrobots.txtでブロックされていません

EDIT2:Google検索コンソールの「URLインスペクション」でこれらのページがどのように表示されるかは次のとおりです(ただし、検索コンソールの説明に反して、これらのページはGoogle検索結果に表示されます): enter image description here

1
Sergey

これは実際には非常に一般的です。 Google Search Consoleツールを使用して削除されたページは永続的なものではありません。 GoogleはRemove URLsツールセクションの下にもこれをリストしています。

URLを削除

コンテンツを完全に削除するには、ソースページを削除または更新する必要があります。所有しているURLを検索結果から一時的に削除します。

あなたがやろうとしていることの難しい部分は、すでにGoogleによってインデックスされているページのインデックスを解除することです。 Googleがページのインデックスを作成すると、ページを404または410する場合でも、ページを手放すのは好きではありません。戻ってきた。

正しいnoindexタグが設定されていれば問題ありません。時間が経つにつれて、Googleや他の検索エンジンはページのインデックスを解除しますが、ここで重要なのはtimeです。 noindexタグをGSC Remove URLsツールと組み合わせて、より迅速な効果を得ることができます。

私がやることは、Google Search Consoleのrobots.txt Testerセクションの下に移動し、Googleからインデックスを解除しようとしているURLの1つ(example.com/buyなど)をテストすることです。競合がないと仮定して、競合がある場合は先に進み、robots.txtファイルでそれらに対処します。Googleはインデックスを解除しようとしているページをクロールできるはずです。

robots.txtが正常であることを確認したら、次に、必要なページでmeta(優先)またはheaderタグのいずれかまたは両方が適切に構成されていることを確認します。インデックス付き:

robotsメタタグの使用(推奨)

<meta name="robots" content="noindex, nofollow">

X-Robots-Tag HTTPヘッダーの使用

X-Robots-Tag: noindex, nofollow

これらの詳細については、 こちらにあります をご覧ください。

これがすべて完了すると、最終的に検索エンジンのインデックスから永久に削除されたページが表示されます。

3
devnull