ウェブサイトの重要ではない部分を削除した後のクローラーエラーについてはどうすればよいですか？
そのため、最近、Webサイトを再構築し、別のCMSを配置し、最適化などを行いました。 Googleウェブマスターツールにアクセスしたところ、Webクローラー404が見つかりませんというエラーがたくさんあることがわかりました。
私は記事のほぼすべてのURLを同じにしています。現在、ほとんどすべてのエラーは、削除した重要でないページ（アーカイブ/日付/およびユーザープロファイルページ）から発生しています。現在、または近い将来、ロボット用のこれらの補助ページを再作成する予定はありませんが、「決して言わない」と考えています。 Googleのクローラは、長い間使用されていないページを数年間クロールすることがあります。
昨日の夜、古いコンテンツが存在しないページを古いコンテンツとして少なくとも3年はクロールしたため、削除のために提出しましたが、今でも数百の404エラーページが残っています。それらをすべて削除するために提出する必要があるかどうかはわかりません。
将来、これらのURLのいくつかが必要になる可能性があるかもしれません。今すぐそれらを削除した場合、このURLが再び必要になるとどうなりますか？
404ページの301リダイレクトを、新しいサイトの同等のページ、または単にホームページに実行できます。人間の訪問者にもっと関心を持つべきです。 Webクローラーは、最終的に古いページのクロールを停止します。
ページがなくなっている場合は、404 errorにしてください。できれば、410 goneを実行することをお勧めしますが、かなりの数がある場合は、努力する価値がないかもしれません。 NEVER 301 redirect別の関連ページにリダイレクトしない限り、もはや存在しないページ。これは、ユーザーのために可能な限り実行する必要があります。
ここで何が起こるかです：
例としてGoogleを使用すると、ページリクエストの結果が404 errorになった場合、Googleは一定期間にわたって何度も試行を続けてから、ページが失われたと判断します。本質的には410 gone 。そのページへのリンクがない限り、Googleはそれを再度要求しません。ただし、リンクが存在する場合、Googleはそのリンクが存在する限り引き続きそのリンクをたどり、欠落しているページをリクエストし続けます。これは問題ではありません。あなたのページがなくなったことをGoogleにもう一度知らせてください。これは、410 goneエラーを強制することが本当に役立つ場所です。行方不明のページに対してだれでも行うリクエストの数を削減します。
理解することが重要なのは、Googleがリストするクロールエラーをすべて修正する必要はないということです。これは、人々を混乱させる場所です。彼らは、プロセスが意図したとおりにプロセスを実行しているときに問題があると考えています。 404 errorsは、shouldが存在するページに対して取得しない限り問題ではありません。それ以外の場合は、無視できます。