検索コンソールに確認済みのウェブプロパティがあります。数か月前からトラフィックデータを収集しています。クロールエラーレポートを使用して、サイトの404を確認しています。このデータがボットからのトラフィックを収集するかどうか興味があります。
サーバーのログを見ていますが、user-agent
'bingbot'からのリクエストがサイトに存在しないいくつかのページにヒットしていることがわかります。たとえば、bingbotからのトラフィックはwww.example.com/this/is/a/404.html
に到達しましたが、Search ConsoleでフィルタリングするとこのURLが表示されません。 Search Consoleはボットから404を記録しませんか?または、これは私が気付いていない問題を示していますか?
Search Consoleは、ボットが検出した404ページをログに記録します
サーバーとコンソールで表示されるログは異なります。サーバーログの404は、コンソールのクロールエラーに必ずしも反映されません。