1年前に多くのページが削除され、404
エラーコードが返されましたが、2週間前にrobots.txt、Googleウェブマスターツールレポートのエラーには、まだnot foundと表示されています。
this Googleサポートドキュメントを読んだ後、今日、404
エラーページにこれらの新しいメタタグを挿入しました。
<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">
それを追加した後、ヘッダーをheader("HTTP/1.0 404 Not Found");
からheader("HTTP/1.0 410 Gone");
に変更することにしました
これらの新しい変更は正しいと思いますか?
存在しないページのGoogleウェブマスターツールで見つかった404エラーを心配するのはよくある間違いです。これはWebサイトと検索エンジンの自然な機能であり、修正するものはありません。ページがなくなっている場合は、404エラーが適切です。
これらのケースで人々を苛立たせるのは、それらが明らかに削除された後、Googleがまだこれらのページにアクセスしようとしていると感じることです。この最も一般的な理由は、GoogleがWeb上のどこかにそのページへのリンクを見つけて、それをフェッチキューに入れたことです。あなたがそれについてできることは何もありません。それは正常に機能しています。
ページが本当になくなっても、エラーを心配する必要はありません。 Googleはあきらめる前にページを数回再試行します。ただし、リンクが見つかったため、後でもう一度ページにアクセスしようとする場合があります。それについて心配しないでください。 robots.txtを使用してページを除外する必要はありませんが、ページが存在しないことをGoogleが認識しないことを除いて、これに害はありません。いかなる状況でも、適切な404エラーをGoogleウェブマスターツールで修正されたものとしてマークしてはなりません。これは、Googleにshouldが見つかったことを伝え、試行を続けることに似ています。
タイトルの質問に答えるには:404または410エラー以外にページが存在しないことを検索エンジンに伝えることはできません。これにはSEOの欠点はありません。まったくありません。