web-dev-qa-db-ja.com

検索スパイダーからコンテンツを隠す

私は、訪問者が閲覧しているページの利用規約に同意するように訪問者に挑戦する必要があります。ユーザーが条件に同意しない場合、訪問するすべてのページに表示され、JavaScriptモーダルダイアログの形式をとりますが、jsが利用できない場合は、ページの上部にある必要があります。承認すると、Cookieが使用され、チャレンジのHTMLはページに出力されません。

検索エンジンのスパイダーは利用規約に同意しないため、すべてのページでT＆Cコピーが表示され、HTMLソースの上部付近で変化し、おそらくすべてのページでインデックスを作成します。

この要素に有用な情報が含まれていないことをスパイダーに伝えるために要素をマークアップする方法はありますか、または「この要素にインデックスを付けないでください」

これは逆クローキングのようなものだと思います。 SEがこの法律用語を無視して、ページの興味深いコンテンツに実際にインデックスを付けることができるようにしたいと思います。

または、クローキングとみなされ、user-agentに基づいてSEからこれを隠した場合、ペナルティが発生しますか？

seocloaking
1
Greg B

この要素に有用な情報が含まれていないことをスパイダーに伝えるために要素をマークアップする方法、または「この要素にインデックスを付けないでください」はありますか？

<script type="text/javascript">
  document.write('search engines will ignore this content');
</script>

クローキング は、検索エンジンのスパイダーとして特定したリクエストに異なるコンテンツを提供することを伴います。このメソッドは、ページをリクエストするすべての人に同じJavascriptを提供するだけです。

ユーザーがT＆CoSを既に受け入れている場合、Javascript Cookieチェックを追加して、モーダルの表示をスキップできます。

クローキングと見なされますか？ユーザーエージェントに基づいてSEからこれを非表示にすると、ペナルティが発生しますか？

これがクローキングの最も典型的な実装です。

更新：

HTMLフォールバックが必要であると述べていますが、純粋なjsは出ています。

申し訳ありませんが、あなたの質問で言及されているものは見当たりませんでした。考慮すべき大まかな実装は次のとおりです。

ファイルシステム：

  • /robots.txt-「Disallow：/ iframe」を含める
  • /iframe/terms.htm-モーダルで提供するコンテンツ

HTMLドキュメントの例：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<!-- ... -->
<style type="text/css">
div#iframeWrapper {
    position:absolute;
    top:0;
    left:0;
    height:100%;
    width:100%;
    background-color:#EFEFEF;
}
iframe#terms {
    position:absolute;
    top:50%;
    left:50%;
    height:600px;
    width:800px;
    margin-top:-300px;
    margin-left:-400px;
}
</style>
<!-- ... -->
</head>
<body>
<p>Some content.</p>
<!-- IF COOKIE NOT SET -->
<div id="iframeWrapper">
<iframe id="terms" src="/iframe/terms.htm" width="800" height="600"></iframe>
</div>
<!-- EOF IF COOKIE NOT SET -->
</body>
</html>

また、私の2番目の質問は、クローキングの方法についてではなく、天気予報がサイトのランキングに有害であることです。

Googleはそれを決して見つけないかもしれませんが、常に注意を払う方が良いでしょう-人間はあなたがしていることは正当であると見るかもしれませんが、クローキング検出（およびペナルティ割り当て）はアルゴリズムによって実行される可能性が最も高いので、なぜそれを危険にさらすのですか？

3
danlefree