ほぼ1年間稼働しているWebサイト(動的な不動産Webサイト)があります。突然のBingbotがすべて、メインページの完全に小文字のバージョンにアクセスしようとして、404エラーになります。
ベースURLは小文字ですが、後続のページは混在しています。
https://example.com/Houses-for-sale-in-Suburb-STATE-3345.php
私はrel canonicalと301リダイレクトを読んで以来、大文字を使用することは良いアイデアではないことを学びました-私はそれらを使用することを決めましたが、私の国の州は大文字で表現されています
大文字のURLをすべて小文字に変換すると、ボットは大文字のバージョンにアクセスしようとします。
Stephen Ostermillerは、テストを続行し、私の.htaccessに以下を実装するための答えをくれました
RewriteEngine On # Turn on the rewriting engine
Redirect 301 /houses-for-sale-in-suburb-state-3345.php http://example.com/Houses-for-sale-in-Suburb-STATE-3345.php
.htaccessのRewriteRulesによって駆動され、RewriteRulesの上にリダイレクトを配置する動的に作成されたURLを除き、URLにCAPSを含むすべての単一ページのリダイレクトを記述しました
トリップアドバイザーで働いていたとき、私たちは常にこの問題を目にしました。トリップアドバイザーには、次のような大文字と小文字が混在したURLがあります。
https://www.tripadvisor.com/Hotels-g60763-New_York_City_New_York-Hotels.html
BingBotを含む多くのクローラーは、URLを取得する前にURL全体を小文字にしようとします。この問題を修正するために、すべての小文字のURLが大文字と小文字が混在するバージョンにリダイレクトされるようにしました。したがって、以下は301リダイレクトを提供します。
https://www.tripadvisor.com/hotels-g60763-new_york_city_new_york-hotels.html
URLのIDを使用して、正しいURLを見つけてリダイレクトしました。 URLに使用できる数値IDがあるようです。
この経験から、URLの正規バージョンは常にすべて小文字にすることをお勧めします。クロールが不適切にプログラムされているため、大文字と小文字が混在するURLの使用はお勧めしません。
StackExchangeは同様のことを行います。 IDがまだ変更されていない状態でブッチャー処理されたURLをリクエストすると、正しいものにリダイレクトされます。これをテストするには、この質問の次のURLを取得します。
http://webmasters.stackexchange.com/questions/100613/BINGBOT-IS-DUMB
また、切り捨ての問題があるため、数値IDをURLの先頭近くに配置することをお勧めします。修正できます
/Hotels-g60763-New_Yor...
ただし、次の場合はそれほど簡単ではありません。
/Houses-for-sale-in-Su...