WebサイトがBingbotによって取得されない：予期しないエラー
私のウェブサイトは数年間オンラインです。これはGoogleにとって最初の結果ですが、Bingによってインデックスに登録されていないようです。ウェブマスターツールでbingで取得しようとすると、常に「予期しないエラー」が返されます。 robots.txtファイルを削除すると、エラーは「robots.txtをダウンロードできません」です。
Bingにはヘルプドキュメントがあります 「予期しないエラー」について次のように説明しています。
「予期しないエラー」とはどういう意味ですか？
Fetch as Bingbotで頻繁に「予期しないエラー」が発生する場合は、クローラーがサーバーに接続できず、サーバーからの応答がまったくないことを示している可能性があります。ユーザーエージェントまたはIP範囲に基づいて、サーバーが意図せずにBingbotをブロックしている可能性があります。これを修正するには、Bingbotの接続を切断している可能性のあるサーバー構成またはモジュールを探すか、ISPと協力して問題が側にあるかどうかを特定します。
ファイアウォールを確認してください。 Webサイトのホストには、リクエストをブロックしている可能性のあるファイアウォールもある場合があります。