robots.txtに404 Not Foundページを追加してきましたが、現在Googleはそれらのページをインデックスに登録しています
インデックスカバレッジには、「robots.txtによってブロックされていますが、インデックス付けされています」と表示されます。これらのページはアクティブではなくなり、404ステータスを返します。クロールおよびインデックス登録されないように、SEOの担当者はrobots.txtに追加しています。
個人的には、Googleはインデックスから「見つかりません」ページを自動的に削除するため、そうすべきではないと考えています。そのため、botsがrobots.txtを介してブロックするのではなく、ページにアクセスできるようにする必要があります
私が間違っている場合は教えてください。
クロールをブロックしてもインデックス作成は妨げられません。
- URLのクロールをブロックしても、URLのインデックスが作成されないわけではありません-特に内部リンクがある場合は、インデックスが作成される可能性があります。 SERPスニペットは、説明のない「URLがロボットによってブロックされています」になります。
- インデックス作成とクロールの両方を防ぐ機能することはありません。 2つのうちの1つのみ。
- クロールがブロックされたため、404がインデックスに表示されることは間違いありません。
- 404の場合、ロボットで閉じるのではなく、インデックスを作成しないことをお勧めします。
それはあなたの目標が何であるかによります。
検索結果ページにページを表示したいが、アクティブではなくなったためにクロールされないようにするには、robots.txtを使用してページを拒否するのが正しい方法です。
ページをnotで検索結果ページに表示する場合は、検索エンジンでインデックス作成を停止する各ページの<meta name="robots" content="noindex">セクションに<head>を追加する必要があります。
Robots.txtを介してクロールをブロックすることにより、クローラーがページにアクセスすることを防ぎますが、検索結果ページには引き続きページが表示されます。
ウェブサイトのrobots.txtファイルに404エラーページを追加する必要はありません。最初の段階では、これらのページはGoogle検索エンジンによってインデックスに登録されましたが、どういうわけかリンクが表示されなくなったか、URLパーマリンクを変更しました。ページはまだ検索エンジンのキャッシュメモリに存在していますが、リンクは現在壊れています。そのため、誰かが検索エンジンを介してページ/投稿をクリックすると、404エラーページにリダイレクトされます。その場合、それらのURLを単に「削除するリクエスト」します。
それには、Google Search Consoleを開き、関連するプロパティを開いてから、次のページに移動します：
クロール
i）クロールエラー
ii）404ページのURLをコピーします
Googleインデックス
iii）URLを削除する
iv）[一時的に非表示]をクリックします
v）URLを貼り付けて続行
最初のオプション「検索結果からページを一時的に非表示にしてキャッシュから削除する」を選択してから、「リクエストを送信」をクリックします
24時間以内にこの問題は解決されます。