robots.txtを使用してWebサイトのプライバシーポリシーのクロールをブロックすることをお勧めしますか？
ウェブサイトのプライバシーポリシーをrobots.txtファイルに追加する必要があるかどうかはわかりません。私は良いSEOの慣習に従っていきたいです。プライバシーポリシーを非表示にする理由はありません。
反対意見：私は目に見えるようにしたいのですが、合法的なページを隠しているようには見えません。可能性は低いですが、一部のユーザーは検索エンジンでそれを見つけたいと思うかもしれません。
引数：弁護士/弁護士はこれらのドキュメントを再利用する傾向があるため、提供されたテキストは一意ではない可能性があります。このページは、人々が検索エンジンから着陸するために重要なものではありません。
何かアドバイス？
これらの法的ページのインデックス作成をブロックしないことに対するあなたの主張は有効です。 Matt Cutsは、2009年にこのトピックに関するビデオを公開しました。
https://www.youtube.com/watch?v=unEML5n5vTo
Googleからの明確な「はい」または「いいえ」ではありませんが、2番目に重要な質問は「これらのページはユーザーにとって重要ですか？」 。はいの場合、Googleはそれらを見つける必要があります。
ブログでこのトピックについて書いた調査に基づいて、これらは一般的な法的ページであることがわかりました。 Googleは、これらのポリシーが法律で義務付けられていること、法的ページはコンテンツが豊富ではないことを知っています。これらのページのウェブサイト。
これらのページのインデックス作成をブロックすることにした場合は、meta robotsの代わりにrobots.txtタグを使用します。
<meta name="robots" content="noindex, nofollow" />
robots.txtにエラーがあると、Googleによってウェブサイト全体のインデックスが解除される場合があります。 meta robots tagは、これを管理する安全なオプションです。
Robots.txtのプライバシーまたは利用規約のページを参照しないでください。 SEOのベストプラクティスは、次のように、ヘッドセクションにnoindex、nofollow命令を使用してメタロボットを作成することです。
<meta name="robots" content="noindex,nofollow">
これにより、プライバシーページはインデックスに登録されません。
フッターに内部リンクを作成して、ユーザーがこのページにアクセスできるようにする必要があります。これにより、検索エンジンもページを見つけて、noindex、nofollowの指示を見つけることができます。
他のアプローチを使用することもできますが、私にとっては最高のアプローチです。ウェブサイトを常にクロール可能にし、ロボットファイルを使用して、自分と他のクロールリソースを保護します。