アダルトコンテンツをボットに表示するが、ログアウトしたユーザーには表示しない
この質問は Adult website crawlability issue に似ていますが、完全ではありません。
私が働いているeコマースサイトにはアダルトコンテンツがありますが、それは私たちの主な焦点ではありません（数十万のアダルトのみの「ページ」と数百万のレギュラー）。ユーザーがログインすると、アダルトコンテンツにアクセスできるようにするための設定を手動で設定する必要があります。
SEOの目的のために、ログアウトしたユーザーへのアクセスを意図せずに許可せずに、アダルトコンテンツをクロールラブにする必要があります。これを行うための最善の方法は何ですか？ Googleだけでなく、サイトをクロールしている可能性のあるボットも心配です。
ログアウトしたユーザーにページへのアクセスを許可することについて議論しましたが、不透明なオーバーレイを提供します。ただし、画像がまだダウンロードされる場合、雇用主または政府に問題が生じる可能性があります。画像がダウンロードされないが、ajaxリクエストでフェッチされる場合、画像は検索エンジンの結果に表示されない場合があります。 Googleは安全なアクセスを提供しますが、他のボットも同様に許可する必要性を満たしていません。
Googleの最初のクリック無料ポリシー （FCF）を実装する可能性があります。
FCFは、検索ボットと検索訪問者が、通常ログインユーザーのみが利用できるコンテンツにアクセスできるように設計されています。それを実装するには、次のことが必要です。
- ログインする必要なく、検索ボット（ユーザーエージェントに基づく）がコンテンツをクロールできるようにします。
- （リファラーに基づいて）検索からの訪問者がログインする必要なくコンテンツを見ることができるようにします。
これを実装した場合、特にアダルトコンテンツの表示を選択していない一部のユーザーにページの表示を許可する必要があります。一方、そのユーザーがコンテンツを検索した場合、それはあなたにとってオプトインとして十分であると考えられるかもしれません。