web-dev-qa-db-ja.com

ユーザーからのページビューを制限していますが、Googlebotの無制限アクセスをクローキングと見なしていますか？

次のようなWhois情報にアクセスする場合のDomaintools： http://whois.domaintools.com/google.com は、無料アカウントが20程度のルックアップに達するとエラーになります。その場合、HTTP 200は返されません。

しかし、Googleはこのエラーを受け取っていないようで、すべてのURLをクロールできます。この場合、Googleはバージョンを表示しますが、訪問者は異なるバージョンを表示する場合があります。

DomaintoolsがどのようにGoogleの特別なアクセスを許可するのかわかりません。それはクローキングと呼ばれていませんか？

自分のサイトでもこの機能を使用できるように、これを理解する必要があります。

cloaking
5
AgA

20の個別のGoogle検索で20の検索制限を見つけていますか？

そうではなく、一度サイトを見つけて、見つけたページから20回検索しようとすると、Domaintoolsが制限をかけるのは問題ないからです。そうでない場合は、DomaintoolsがFirst Click Freeなどを使用している可能性があります。

2
user29671

回答A：

検索エンジンでユーザーを認証するためにサイトをどのようにコーディングしたかということに他なりません。

PHPコード内でIf/Elseステートメントを実行できます。私の例は次のとおりです。この例としてGoogleBotを使用します。

$googleBot = $_SERVER['HTTP_USER_AGENT']; //  Defines it as GoogleBot Instead

if($googleBot) {

   //  Allows indexing of the full site and goes over the limit of 20
}
else {
   //  Everyone else is only allowed to view the site so many times   
}

回答B

Googleはこの制限にも対処する必要があります。 Googleと自分自身が再び多くのページを表示できるようになるまでの時間には制限があります。その場合、Googleはその制限でもページをインデックスに登録しますが、サイトのこのインデックス登録を達成するにはしばらく時間がかかります。

回答C

Closetnocに同意します。それはクローキングではありません。 「ユーザー」と「ボット」に適用されるルールは、Googleでサイトのインデックスを簡単に作成したい場合は少し異なります。

また、Googleと同じコンテンツが表示されますが、Googleとは異なり、非常に多くの回数しか表示できません。

1
user37204