ウェブサイトの個々のページが検索エンジンによってインデックスに登録されないようにする方法は？
検索エンジンでインデックスを作成したいブログで個人的なウェブサイトを設定しています。ただし、ブログは、インデックスに登録されるべきではない個人情報でCVにリンクします。
非ドキュメント形式（画像など）で個人コンテンツを公開せずに確実に達成できますか？
HTMLドキュメントの場合は、 次のメタタグ を含めます。
<meta name="robots" content="noindex" />
これにより、タグを理解しているGoogleおよび他のすべての検索エンジン（1996年以降存在するため、ほぼすべてのタグであるはずです）にページのインデックスを作成しないように指示します。
非HTMLドキュメントの場合、代わりにHTTPヘッダーX-Robots-Tag: noindexを送信するようにWebサーバーを設定できます。これはやや新しい機能ですが、少なくとも Google 、 Yahoo！ 、および Bing などの主要な検索エンジンで理解されています。
さらに、検索エンジンをページから遠ざけるもう1つの方法は、ページを robots.txt file で許可しないことです。ただし、 重要な注意事項があります ：少なくとも、Googleはrobots.txtをfetchingに対する禁止として扱いますページ、ただしnotクロールした別のページからリンクされている場合、インデックスにURLを含めることはできません。また、robots.txtのページを許可しないと、GoogleがメタタグやHTTPヘッダーを見ることもなくなるため、robots.txtをメタタグまたはHTTPヘッダーベースのメソッドと効果的に組み合わせることができません。
（ただし、robots.txtおよび内のページを許可しない場合、Googleに削除リクエストを送信すると、彼らはそのページにアクセスできなくなりますインデックス。ただし、これはやや面倒でエラーが発生しやすい方法です。）