Bingは私のトップページを結果から削除しました。3日前に最初のページに表示されていました。多分私はrobots.txtファイルを数週間前に更新しました。トップページのインデックスを作成するためにbingbotをブロックしている問題がある場合、誰かが以下のテンプレートをチェックできますか。前もって感謝します
User-agent: *
Crawl-Delay: 20
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
User-agent: Yahoo-Slurp
Disallow:
User-agent: Msnbot
Disallow:
Msnbotは、Bingユーザーが使用するユーザーエージェントの1つにすぎず、メインのエージェントでもありません。 https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec
Bingがサイトのインデックスを作成できるようにするには、少なくともBingbotを許可する必要があります。
User-agent: Bingbot
Disallow:
Msnbotセクションを保持し、他のBingユーザーエージェントを追加することもできます。
Yahooのユーザーエージェントも正しくありません。 https://help.yahoo.com/kb/learn-submit-website-yahoo-robotstxt-directive-sln2213.html それはただSlurpYahoo-Slurpではなく。
Googlebotのメインユーザーエージェントは正しいのですが、Googleはクロールする多くのユーザーエージェントを持っています。他の一部のクロールも許可したい場合があります。ドキュメントはこちら: https://support.google.com/webmasters/answer/1061943?hl=en
もう1つの問題は、2つのUser-agent: *
セクションがあることです。それらを組み合わせる必要があると言いますが、Crawl-Delay
ディレクティブは何にも使用されません。そのセクションを使用するすべてのクローラーを禁止します。 Googlebot、Yahoo、またはBingのクロール遅延を指定する場合は、セクションにクロール遅延を追加する必要があります。ボット用に特定のセクションを作成すると、*
セクションは完全に無視されます。 Googlebotはクロールの遅延をまったくサポートしていないことに注意してください。
あなたが望むことをするために、少なくとも以下のrobots.txtをお勧めします。また、GoogleとBingの一部の広告クローラーを許可することもできます。
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: Slurp
Crawl-Delay: 20
Disallow:
User-agent: MSNBot
Crawl-Delay: 20
Disallow:
User-agent: MSNBot-Media
Crawl-Delay: 20
Disallow:
User-agent: Bingbot
Crawl-Delay: 20
Disallow: