ロボットはパフォーマンスの問題を引き起こす可能性がありますか？
職場では、ボットがサービスWebサイトでの実行時にパフォーマンスに関連する問題を引き起こすと考えているチームメンバーと議論しています。
私たちのセットアップ：
www.mysite.co.ukというサイトがあるとしましょう。これは、www.mysiteonline.co.ukにある当社のオンラインサービスのショーウィンドウです。
Googleでmysiteを検索すると、mysiteonline.co.ukとmysite.co.ukが表示されます。
ボットのクロールを停止する場合：
- ウェブ上で公開されているGBのデータは保存しません
- 最も友好的なボットは、もし彼らが問題を引き起こすのであれば、すでにそうしているでしょう。
- この例では、ユーザー名とパスワードが必要なため、ボットはサイトをクロールできません
- Robot .txtでボットを停止すると、seoで問題が発生します（ref.1）
- 悪意のあるボットであれば、robot.txtまたはメタタグはとにかく無視されます
参照1。 mysiteonline.co.ukがロボットのクロールをブロックする場合、これはseoランキングに影響し、mysiteonlineを積極的に検索するユーザーにとって不便になります。私たちが証明できるのは、ユーザーの大部分の場合です。
コンテンツの大部分がログインの背後にある場合、ボットはそのコンテンツにアクセスできず、サイトに費やす時間を制限します。
優れたボットは、主要な検索エンジンのボットと同様に、クロールレートをサイトに適したものに自動的に設定します。サイトを攻撃しているボットの話はいくつかありますが、それらは古くなりがちであり、そのことについてはもうあまり耳にしません。
少なくともGoogle（および多分Bingですが、ウェブマスターツールは使用しません）では、サイトで クロールレートを設定する を使用できます。
Robots.txtを使用してコンテンツをブロックすることは、SEOの自殺です。クロールできない場合、インデックスを作成できません。インデックスを作成できない場合、結果に表示できません。結果にページを表示できない場合、ユーザーはあなたを見つけることができません。
悪いボットは、すべてのウェブマスターが遅かれ早かれ直面する問題です。また、robots.txtファイルは無視されます。彼らは個別に対処する必要があります このウェブサイトはそうするための多くのソリューションを含んでいます 。