web-dev-qa-db-ja.com

大文字と小文字の混合を使用しているときに、Bingbotが小文字のURLにアクセスしようとしています

ほぼ1年間稼働しているWebサイト(動的な不動産Webサイト)があります。突然のBingbotがすべて、メインページの完全に小文字のバージョンにアクセスしようとして、404エラーになります。

ベースURLは小文字ですが、後続のページは混在しています。

https://example.com/Houses-for-sale-in-Suburb-STATE-3345.php

私はrel canonicalと301リダイレクトを読んで以来、大文字を使用することは良いアイデアではないことを学びました-私はそれらを使用することを決めましたが、私の国の州は大文字で表現されています

大文字のURLをすべて小文字に変換すると、ボットは大文字のバージョンにアクセスしようとします。

2
zod

Stephen Ostermillerは、テストを続行し、私の.htaccessに以下を実装するための答えをくれました

RewriteEngine On # Turn on the rewriting engine

Redirect 301 /houses-for-sale-in-suburb-state-3345.php http://example.com/Houses-for-sale-in-Suburb-STATE-3345.php  

.htaccessのRewriteRulesによって駆動され、RewriteRulesの上にリダイレクトを配置する動的に作成されたURLを除き、URLにCAPSを含むすべての単一ページのリダイレクトを記述しました

1
zod

トリップアドバイザーで働いていたとき、私たちは常にこの問題を目にしました。トリップアドバイザーには、次のような大文字と小文字が混在したURLがあります。

https://www.tripadvisor.com/Hotels-g60763-New_York_City_New_York-Hotels.html

BingBotを含む多くのクローラーは、URLを取得する前にURL全体を小文字にしようとします。この問題を修正するために、すべての小文字のURLが大文字と小文字が混在するバージョンにリダイレクトされるようにしました。したがって、以下は301リダイレクトを提供します。

https://www.tripadvisor.com/hotels-g60763-new_york_city_new_york-hotels.html

URLのIDを使用して、正しいURLを見つけてリダイレクトしました。 URLに使用できる数値IDがあるようです。

この経験から、URLの正規バージョンは常にすべて小文字にすることをお勧めします。クロールが不適切にプログラムされているため、大文字と小文字が混在するURLの使用はお勧めしません。

StackExchangeは同様のことを行います。 IDがまだ変更されていない状態でブッチャー処理されたURLをリクエストすると、正しいものにリダイレクトされます。これをテストするには、この質問の次のURLを取得します。

http://webmasters.stackexchange.com/questions/100613/BINGBOT-IS-DUMB

また、切り捨ての問題があるため、数値IDをURLの先頭近くに配置することをお勧めします。修正できます

/Hotels-g60763-New_Yor...

ただし、次の場合はそれほど簡単ではありません。

/Houses-for-sale-in-Su...
0