アダルトWebサイトのクロール可能性の問題
私はミッションを得て、新しいWebサイトのこのシナリオでいくつかの助けを求めました。
このサイトはアダルトエスコート広告サービスです。それはうまく開発され、動作し、見栄えが良いですが、問題はクロール性にあります。
Googleウェブマスターツールは、すべてのページで同じコンテンツにインデックスを付けます。さらに説明させてください。
クライアントがページにアクセスしようとすると、Webサイトにはデフォルトの契約/警告ページが表示されます。クライアントが「proceded」をクリックすると、セッション変数が設定され、クライアントは元のページにリダイレクトされます（302）。
クライアントが「いいえ」と言った場合、彼は別のWebサイト（google、wikipedia、ニュースポータルなど）にリダイレクトされます。
まあ、これは安全なプロセスですが、私が言ったクローラビリティの問題を引き起こします。それで、これに何か光がありますか？契約後のコンテンツを正しくクロールしてインデックスを作成するにはどうすればよいですか？
Googlebotユーザーエージェントの同意を表示しないようにスクリプトを変更します。
通常、検索エンジンはリンクのようなフォームには従わないため、実際にはコンテンツをブロックします。 XMLサイトマップを使用して、内部ページを直接送信してみてください。彼らが他の内部リンクを発見するためにそれらを使用できるので、私は彼らにHTMLサイトマップを提出するでしょう。