サイトのGoogleのクロールレートが帯域幅を使いすぎていないかどうかを確認する方法
Googleのクロールレートを変更する と、クロールレートが速すぎるとサイトの速度が低下するバランスとの関係について読んでいました。ただし、クロール速度が遅すぎる場合は、 検索結果のページの説明が十分な速さで更新されない可能性があります 。
これは明らかにバランスの取れた行為です。キャッシュされたページバージョンの検索結果を見ると、サイトが十分な速度でクロールされていないことを判断できることは理解していますが、サイトが過度にクロールされ、速度が低下していることを測定する方法はわかりません。
私はいくつかの異なるタイプのCMSとホスティングを持っていますが、それらのすべてでこれを把握する一般的な方法があるかどうか疑問に思っていました...多分 サーバーログを使用 またはいくつかのWebページパフォーマンステストソート。
一般に、人気のあるWebサイトがある場合、サーバーのパフォーマンス機能を考慮する必要があります。a）同時にオンになる顧客/ビューアー、およびb）Yahoo、Bing、Googleの更新、および場合によってはYandexと表示対象地域に応じて、Baidu。
Robots.txtエントリを介してBingとYahooを遅くすることは、インデックス付きページの数に影響を与え始めたため、良いアイデアではありませんでした。彼らはGoogleが行うトラフィックに対してあなたのウェブサイトをより強く攻撃する傾向があり、BaiduとYandexはあなたのウェブサイトに訪問を支払うときにトラフィックを緩和するのがより悪いです。
そのため、robots.txtファイルのエントリを削除し（Googleはそれを使用しません）、BingおよびGoogleウェブマスターツールの設定を使用してトラフィックシェーピングを行います。最終的に解決したのは、オフピーク時に通常よりも多くのトラフィックを許可し、通常の顧客のトラフィックの多い時間帯にトラフィックをわずかに少なくして、サイトの応答性を維持することでした。
トラフィックに関する私の情報は、ホスティングプロバイダーのcPanelの実装から得られます。これらは、設定を調整するために使用した毎日、毎週、および毎年の帯域幅のトラフィックグラフを提供します。 Weblog Expertのようなプログラムを入手して、アクセスログからトラフィック統計を抽出することもできます。