Ahrefsは常に私のサイトのバックリンクをチェックしています
Magentoのサイトを持っていますが、ahrefs.comのクローラーが毎日私のサイトにアクセスしていることに気付きました。私はahrefs.comにアクセスし、自分のバックリンクを確認します（それらは良好です）。
- それは良いですか悪いですか？ （常に確認するため）。 Googlebotは常にサイトをクロールしません。
- 多分それは私のサイトを遅くしますか？ （多くのリクエスト）
- チェックする時間を短縮できますか？
From： https://ahrefs.com/robot/
...次のようにボットからの2つの[連続]リクエスト間の最小許容遅延を指定することで、サイトにアクセスするAhrefsBotの頻度を制御できます（robots.txtで）。
User-Agent: AhrefsBot
Crawl-Delay: 2
crawl-Delayパラメーターの値は秒単位の時間です（秒の小数部も使用できます）