web-dev-qa-db-ja.com

HTMLページが1.6MBの場合、Googleクローラーはどのように動作しますか?

Googleクローラーがサイズが1.6 MBのときにページ上のすべてのコンテンツを取得しない可能性はありますか? Googleは大きなドキュメントをどのように扱いますか?

1
Sergey

一般に、Googleによって設定されたページサイズの制限はありません。 Googleニュースページのみが256 kBを超えないようにしてください。

ただし、ページのサイズにより、設計上いくつかの制限があり、適切なクロールを妨げる可能性があります。クローラーがちょうど降りるそのような制限は、すなわち:

  • dOMツリーの法外なネスト
  • スクロールせずに見える範囲内のリンクが多すぎる
  • ロード時間が遅すぎる(つまり、ヘッドに含まれるアセットが多すぎるため)
  • googleが重要であると意味するアセットは、クロールできません(ロボットによってブロックされ、サーバーによって使用できません)
  • ページのアセット(画像など)からの404エラーが多すぎます
  • 動的にロードされ、ユーザーのアクションによってトリガーされる可視性のコンテンツ

ページのサイズは関係ありません。重要なのは、クローラーに障害があるかどうかです。

1
Evgeniy