web-dev-qa-db-ja.com

クローラーを「クローク」し、セッションIDパラメーターとリダイレクトを使用してCookieを確認することはできますか?

GETパラメーターを使用してユーザーを追跡し、Cookieの使用を許可していない場合でも実行できるようにします。そのためには、ユーザーが初めてページにアクセスしたときに2回のリダイレクトを行う必要があります。

私はいくつかの問題を抱えています(Googlebotには19のリダイレクトが必要です) クローラーにセッションIDを使用することはできません GETパラメーターで、ユーザーがロボットかどうかを検出することをお勧めします、この場合、リダイレクトせず、セッションIDを使用しません。

私はそれを完璧に行うことができますが、...リダイレクトはGooglebotではなく人間のために行われたことをGoogleは検出しませんか?もしそうなら、それはクローキングとしてカウントされませんか?

私は何をすべきか?

3
Kenny Lajara

この状況での「クローキング」は問題ありません。ユーザーエージェントにbot|crawl|Slurp|spiderが含まれる場合、セッションIDパラメーターを使用したり、Cookieを確認したりしないでください。同じコンテンツをユーザーとボットに配信しています。 Googleはこの特定のマントに問題はありません。

私は自分のサイトの画像にデータURIを使用するかどうかを決定するために同様の手法を使用します。すべてのボットを、データURIを処理できないIE 7以前と同じように扱います。技術的にはクローキングですが、すべてのボットは同じデータを取得し、ユーザーと同じピクセルを画面にレンダリングします。彼らは、さまざまな技術的手段でそのデータを取得するだけです。

また、問題を処理するさまざまな方法を調べる価値があるかもしれません。私のサイトの場合、Cookieを設定し、リンクで次のようなJavaScriptを使用します。onclick="if(!document.cookie.indexOf('session')this.href+='?session=abcdef1234';" Googlebotはリンクをたどるときにonclickを実行しないため、パラメーターなしでサイトをクロールできます。

セッションパラメータを使用している場合は、Google Search Consoleにログインして、無視するようGoogleに指示する必要があります。 RLパラメーターツールを開く または クロールパラメーターのドキュメントを表示 。セッションパラメータを追加し、「ページコンテンツに影響を与えない(使用状況の追跡など)」に設定します。

1