GoogleはSearch ConsoleでURLを削除した後でも検索結果を表示します
私はAngualrJSアプリケーションを開発していますが、検索エンジン向けに最適化するのは簡単ではないので、それを公開し、Googleが「Search Console」に「Property」を登録してページのインデックスを作成し、結果を確認してページを改善します。ページは正常にインデックス化され、Googleは検索結果を表示します。
プロジェクトを終了するために、ページを再びパブリックから削除したいので、Googleが検索結果からそれを削除することを望みました。しかし、これは簡単ではないようです。
まず、robots.txtを調整して、インデックス作成を拒否しました。 Googleが新しいrobots.txtをチェックした後でも、検索結果は表示されたままでした。
次に、検索コンソールで一時的にURL削除を設定しようとしました。それらは受け入れられましたが、URLは削除されませんでした。
次に、Googlebotがサーバーへのアクセスを取得しないようにサイトをセットアップします-要求されたすべてのURLに対して404を取得します。これはほぼ4週間続いていますが、Googleは引き続き検索結果を表示します。
2週間前、Googleアカウントの検索コンソールから「プロパティ」を削除し、Googleのwebroot検証HTMLファイル（googlexxxxxxxxxxxxxxx.html-とにかく、Googlebotは404を取得します）を削除しましたが、検索結果は表示されます...
すべての検索結果から自分のサイトを完全かつ迅速に削除するにはどうすればよいですか？
Googleは、検索コンソールアカウントを持たない多くのサイトのインデックスを作成します。検索コンソールからプロパティを削除しても、Googlebotがサイトをクロールして検索インデックスに含めるかどうかには影響しません。
robots.txtによるクロールを許可しない場合、Googlebotはこれらのページが404であることを確認できなくなります。Googleは、コンテンツを削除したことを確認するためにクロールできる必要があります。
一時的な削除が完了したら、再度クロールを許可して、Googlebotに404エラーが表示されるようにします。 Googleは数週間以内にすべてのページをクロールする必要があります。 Googlebotが404エラーを検出すると、24時間後にページが削除されます。 Googleがクロールできず、404エラーが表示される場合、検索インデックスにURLが無期限に含まれている可能性があります。
ページを削除しようとするためにGooglebotに404エラーを提供する代わりに、ページをインデックスに登録しないことをGoogleに明示する必要があります。それを行う方法は、すべてのページのheadセクションにrobots meta noindexタグを含めることです。
<meta name="robots" content="noindex">
これらのタグを挿入すると、Googlebotがサイト全体を安全にクロールできるようになり、検索エンジンに表示されなくなります。
サイト上のすべてのURLのインデックスなしプロセスを高速化するには、 Googleにはrobots.txt にNoindex:ディレクティブがあります。 robots.txtファイルを次のように変更します。
User-Agent: *
Noindex: /
GoogleがNoindex robots.txtは実験的であり、いつでもなくなる可能性があると言っているので、そうしても、noindexメタタグを追加する必要があります。