robots.txtを使用して、ページがGoogle検索でインデックス登録されないようにする方法

Question

robots.txtで、Googleのインデックスに登録したくない、またはGoogleの検索結果に表示したくない、私のサイトの「ありがとう」ページの一部を禁止しました。しかし、これらのページは最近Googleで検索可能になりました。それらを削除するにはどうすればよいですか？

Answer 1

robots.txtファイルは、検索エンジンのインデックス作成を禁止するために使用することはできません。ページがクロールされるのを防ぐだけで、インデックスは作成されません。

ページがインデックスに登録されないようにするには、次のHTMLメタタグを頭に付けて配信します。

<meta name="robots" content="noindex">

または、このHTTPヘッダーで：

X-Robots-Tag: noindex

noindexディレクティブを提供すると、ページは時間が経つにつれてGoogle検索から除外されます。緊急に削除する必要がある場合は、 Google Remove Outdated Content Tool を使用して送信してください。これは、ページがnoindexディレクティブを提供している場合、またはページが完全になくなっている場合にのみ機能します。