サイトにURLが存在しなくなったら、ページを指定してHTTP 410ステータス(GONEエラー)を発行します。
共同管理者がサイトの画像を追加および削除できるスクリプトを作成しました。画像が削除されると、その画像ページは代わりにエラーページを生成し、約5秒以内にHTTP 410ステータスコードをブラウザに返します。サイトマップが更新され、変更が反映されます。
また、すべてのページにrobots noarchiveメタタグが設定されています:
<meta name="GOOGLEBOT" content="NOARCHIVE">
<meta name="ROBOTS" content="NOARCHIVE">
ウェブマスターツールにアクセスすると、毎日写真ページを指すランダムな数のエラーURLが表示されます。
Googleは410ステータスコードを返すと述べていますが、共同管理者がスクリプトを介して写真ページを削除したため、ウェブマスターツールにURLが表示されるため、影響を受けるURLへのすべてのリンクと、サイトマップから影響を受けるURLは削除されます。
また、Googleがサイトで表示するエラーが多いほど(ステータスコードが404であるか410であるかに関係なく)、AdSenseで発生するエラーが少なくなることに気付きました。
また、1秒あたり最大10個の要求を行うようにgooglebotを構成しました(スライダーを右端まで移動)。
ウェブマスターツールに410のステータスコードが表示されないように、サイトから不良の写真を削除した結果、新しく生成されたエラーURLが表示される可能性を下げるにはどうすればよいですか?
Googleにサイトマップをすぐにクロール/再スキャンさせることはできません。
Googleがウェブサイトのウェブページのインデックスを作成すると、クロールを何度も繰り返します。つまり、独自のインデックス付きデータベースからウェブページをクロールします。サイトマップから、リンクしたウェブサイトからでも、そのページはGooglebotのためにクロールできます。
通常、Googlebotは404ページを頻繁にクロールしますが、WebマスターはこのエラーがWebマスターダッシュボードで発生していることを知っているため、いつか修正される可能性があり、したがって404ページを頻繁にクロールするため、410エラー(永続的に表示されない)特定の場合。
メタタグの後に使用不可 は、Webサイトに適したソリューションだと思います。