web-dev-qa-db-ja.com

Googleクローラーからページを非表示にする方法

可能性のある複製：
Googleサイトリンクを推奨するために最も重要なことは何ですか？

現在、ウェブサイトで作業していますが、特定のページをGoogleクローラーから非表示にする必要があります。検索エンジンがディレクトリで見たいものだけを見るようにする方法は？

また、「ログイン」、「情報」など、Googleの結果からショートカットリンクがどのように得られるかを知っています。これらのリンクを検索結果に配置する方法はありますか。

htmlseosearch-engines
2
NoobDev4iPhone

<meta name="robots" content="noindex,follow" />を使用することもできます

2
v2p

これらの場所を許可しない robots.txt を作成できます。
すべてのクローラーがrobots.txtを尊重するわけではないことに注意してください。

また、robots.txtは攻撃者が最初に見る場所です。
これらのページには、安全な認証システムを使用してプロテクションする必要があります。

1
SLaks

Robots.txt 。

1
swatkins

Googleがサイトの証明書のURLを一覧表示しないようにするには、サイトのルートにある robots.txt に追加します。

Example robots.txt:
User-agent: *
Disallow: /donotindex/

これは安全ではないことに注意してください、あなたは単にそれらをインデックス/リストしないように「求めている」のです。 Googleはこのリクエストに応じます。ただし、洗練されたユーザーと一部の不適切なクローラーは、いずれにせよURLを使用またはリストします。

コンテンツを非表示にする必要がある場合は、ログインページ（クローラーが使用できない）の背後に配置するか、クライアント（ブラウザー）のユーザーエージェントに基づいてコンテンツを変更する必要があります。後者はGoogleによって具体的に許可されておらず、あなたのサイトが罰せられる可能性があると思います。

1
Garrett Smith