「結果なし」ページでSoft 404エラーが蓄積されるのを防ぐにはどうすればよいですか？

Question

最近、GoogleウェブマスターツールでSoft 404エラーのリストが増えていることに気付きました。これらはすべて、「一致が見つかりません」と報告する動的に生成された検索結果ページ用です。

IdoGoogleの意味Soft 404と、それらが報告する理由を理解するこれらのページのために。そこで、これらのページに<meta name="robots" content="noindex">を追加しました。

ただし、GoogleはSoft 404エラーを報告していますnoindexメタタグ。

Googleがanyエラーを報告する理由

問題は、これらの不要なエラーがすべてあるため、修正が必要な実際の問題があるかどうかを確認できないことです。

これらのページは404ステータスコードを返すべきだと言う人もいます。しかし、それは問題を404エラータブに移します。また、Googleは結果なしページに対してステータスコード200を返します。

Robots.txtでアクセスをブロックしたくないのは、これらのページのリンクをたどり、Googleにnoindexメタタグを表示させるためです。また、これらをブロックするために使用できるパターンはありません。

GoogleはこれらのURLを最初に見つけました。これは、コンテンツが以前は存在していたが、その後削除されたためです。 PHPコードには結果が見つからなかった理由を知る方法がないため、410ステータスコードを返すことはできません。

実際の問題を見やすくするためにできることはありますか？

Answer 1

Googleがサイト検索ページをクロールしないようにする必要があります。 Googleはサイト検索をクロールしませんまったく。以下は、この問題に関するGoogleのMatt Cuttsのブログ投稿です。 2007年3月10日のMatt Cuttsによる検索結果の検索結果 。 Googleは現在、サイトの検索結果をクロールしてGoogleのSERPに表示できるサイトを積極的にペナルティしています。 Googlebotが検索結果ページをクロールできるようにすることで、Googleの紹介トラフィックがすべて危険にさらされます。 Googleレビュアーのお気に入りのトリックの1つは、サイト検索で「Viagra」などのスパム用語を検索することです。結果としてクロール可能なページが表示された場合（「バイアグラの結果が見つかりません」と表示されている場合でも）、スパムサイトとしてのサイトに対して手動ペナルティが適用されます。

サイト検索をrobots.txtに配置する必要があります。 Googlebotがコンテンツページを引き続きクロールできることを確認してください。その後、新しいソフト404エラーの報告を停止します。

---

多数の404エラー（ソフト404エラーであっても）は、サイトのランキングに影響しません。 Googleは、見つけてクロールできるページ、インデックスを作成するかどうか、リンクするかどうかについてエラーを報告します。これは、エラーレポートが単にあなたの利益のためであり、完全に通知されるべきだと感じているためです。

GoogleのJohn Muellerがそれについて言わなければならない ：

1. 無効なURLでの404エラーは、サイトのインデックス作成やランク付けに一切影響しません。 1億または1千万であっても、サイトのランキングを損なうことはありません。 http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
2. 場合によっては、クロールエラーは、WebサイトまたはCMS内の正当な構造上の問題に起因する場合があります。どうやって言うの？クロールエラーの原因を再確認してください。サイトの壊れたリンクがページの静的HTMLにある場合は、常に修正する価値があります。 （+ Martino Mosnaに感謝）
3. 「明らかに壊れている」ファンキーなURLについてはどうでしょうか？あなたのサイトのような当社のアルゴリズムは、たとえばJavaScriptで新しいURLを見つけようとすることで、より素晴らしいコンテンツを見つけようとします。これらの「URL」を試して404を見つけたら、それは素晴らしいことであり、期待されています。重要なものを見逃したくないだけです（ここに過剰に添付されたGooglebotミームを挿入してください）。 http://support.google.com/webmasters/bin/answer.py?answer=1154698
4. ウェブマスターツールでクロールエラーを修正する必要はありません。 「修正済みとしてマークする」機能は、進捗状況を追跡したい場合にのみ役立ちます。 Googleのウェブ検索パイプラインでは何も変わりませんので、不要な場合は無視してください。 http://support.google.com/webmasters/bin/answer.py?answer=24674
5. ウェブマスターツールのクロールエラーは、いくつかの要因に基づいて優先度順にリストされています。クロールエラーの最初のページが明らかに無関係である場合、他のページで重要なクロールエラーを見つけることはおそらくないでしょう。 http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
6. ウェブサイトのクロールエラーを「修正」する必要はありません。 404を見つけることは正常であり、健全で適切に構成されたWebサイトに期待されます。同等の新しいURLがある場合は、そのURLにリダイレクトすることをお勧めします。それ以外の場合は、偽のコンテンツを作成したり、ホームページにリダイレクトしたり、robots.txtでこれらのURLを禁止したりしないでください。これらのすべてにより、サイトの構造を認識して適切に処理することが難しくなります。これらを「ソフト404」エラーと呼びます。 http://support.google.com/webmasters/bin/answer.py?answer=181708
7. 明らかに-これらのクロールエラーが、関心のあるURL、おそらくサイトマップファイルのURLで表示されている場合は、すぐに対処する必要があります。 Googlebotが重要なURLをクロールできない場合、検索結果から削除され、ユーザーもそれらにアクセスできない可能性があります。