Googlebotがページを頻繁にクロールする
ブログにGoogleが頻繁にクロールした記事が1つあります。私のブログは新しく、ブログに約100の記事があり、ページビューが50〜80（Googleボットを含む）です。
しかし、私はたった12時間で300のページビューを持つ1つの記事を持っています。気になるので、ユーザーエージェントとIPアドレスを追跡したところ、自分のページがGooglebotによってクロールされたことがわかりました。頻繁すぎる。
私の質問は、他のページはそうではないので、Googleがこのページを頻繁にクロールする原因は何ですか？これについて心配する必要がありますか？
グーグルが確認したように、彼らは RLの人気に基づいて をクロールしているので、何も問題はありません。
インターネットでより人気のあるURLは、インデックスで最新の状態に保つために、より頻繁にクロールされる傾向があります。
また、John Muller Twitterで確認済み 。
さらに、 Googleのクロールのしくみ の方法もWebサイトへのアクセスに影響を与える可能性があります。
一部のページは、Googleが以前にクロールしたために知られています。他のページは、Googleが既知のページから新しいページへのリンクをたどると発見されます。ウェブサイトの所有者がGoogleがクロールするページのリスト（サイトマップ）を送信すると、さらに他のページが発見されます。 WixやBloggerなどの管理対象ウェブホストを使用している場合、作成した更新済みのページや新しいページをクロールするように指示されることがあります。
これを心配する必要はありません。実際、これは良いことです。このようにすると、Googleは更新されたコンテンツをインデックスに登録できるようになり、ページのランキングが高くなる可能性が高くなります。
ただし、（何らかの理由で）googleでページをインデックスに登録したくない場合は、いくつかの方法があります。
ページの先頭にnoindexタグを追加できます。または、クロール頻度を減らしたい場合は、 クロールレートを下げる