web-dev-qa-db-ja.com

Googleクローラー520エラー

Google Crawlerは毎日520エラーを生成します。 60.000の内部リンクWebサイトでこれらのエラーの約50〜100を取得します。

しかし、問題は、私のリンクには解決を検討できる問題がないことです。したがって、URLエラーをクリックしてFetch as Google機能を使用すると、URLは問題なく正常にクロールされ、インデックス付けされます。

これのトラブルシューティングを開始する手がかりはありますか?

ありがとう

1
pierostz

Cloudflare.comでこの記事が見つかりました。

https://support.cloudflare.com/hc/en-us/articles/200171936-Error-520-Web-server-is-returning-an-unknown-error

また、サードパーティのキャッシュサービス(cloudflareなど)からWebサイトを一時的に削除し、そのようなサーバーを1週間実行して、サーバーログを観察して異常が発生していないかどうかを確認することをお勧めします。また、webpagetest.orgで数回テストして、読み込み時間が許容範囲内かどうかを確認します。

また、サイト上のすべてのリンクをスキャンして、それらがすべて有効であることを確認するツールを入手します。 Xenu Link sleuthを使用します( http://home.snafu.de/tilman/xenulink.html#Download にあります)。

問題が受け入れられたら、再度cloudflareを試してください。HTTPエラー520が引き続き発生する場合は、サービスやサービスのアカウントに問題があります。その場合は、問題について直接連絡する必要があります。

1
Mike