AdSenseのエラーを修正する方法：「クローラーがページにアクセスできませんでした」ページが削除され、404が見つからない場合
ウェブサイトを持っていますが、最近コンテンツ管理システムを変更しました。新しいシステムでは、新しいURL /階層が登場しました。 Googleウェブマスターツールにはサイトに関する問題はなく、クローラーエラーは発生しません。しかし、AdSenseはまだ古いサイトでURLを探しているようで、「ページが見つかりません」というエラーが大量に発生します。
AdSenseに新しいサイトマップをクロールさせるために何ができますか？
これはクローラーエラーページにあります。 「ブロックされたURL」と表示され、URLの横に「ページが見つかりません」と表示されます。
「当社のクローラーは、「ブロックされたURL」列にリストされたページにアクセスしてコンテンツを特定し、広告を表示できませんでした。各ドメインの横にある「プラス」アイコンをクリックして、影響を受けるURLの拡張リストを表示します。 「コンテンツにアクセスしないと広告が表示されないため、収益とカバレッジが低下します。これらのエラーを修正する方法については、「エラー」列のリンクを参照してください。
これらはもう存在しないので、これらのページが存在することを忘れて欲しいだけです。
AdSenseはMediapartners-Googleと呼ばれるクローラーを使用します。サイトマップを使用してサイト全体をクロールすることはありません。むしろ、ユーザーが広告を含むページをリクエストすると、そのURLをその場でクロールします。
これらのURLに広告があるページを配信しなくなった場合、AdSenseボットはユーザーの介入なしにこれらのURLのクロールを停止します。
私の推測では、ページを削除したときに、キャッシュされたバージョンのページにアクセスしたユーザーが何人かいました。それがクロールとエラーを引き起こしました。数週間以内にエラーが消えることを期待しています。