web-dev-qa-db-ja.com

robots.txtをユーザーから非表示にする方法は？

Robots.txtは次の場所にあります。

site.com/robots.txt

悪い考えの人も含めて、誰でもそれを見ることができます。

検索ボット以外のすべてのユーザーからrobots.txtを非表示にするにはどうすればよいですか？

seoapacheservermetadata
2
Murad

ここで解決策を見つけることができます：

http://forums.ukwebmasterworld.com/threads/hide-your-robots-txt-from-visitors-and-show-it-only-for-validated-robots.7256/

これにより、googlebot、Yahoo Slurp、msnbotを除くすべてのユーザーからのrobots.txtがブロックされます。

しかし、もう一度、なぜそれを非表示にしたいのですか？ robots.txtにアクセスできるようにしておいても問題ありません。

ほとんどすべてのWebサイトに、誰でもアクセスできるrobot.txtがあります。 wikipediaのrobot.txtもここに表示されます。 https://en.wikipedia.org/robots.txt

3
A squared

できません。robots.txtは一般に公開されることを目的としています。サイトのコンテンツを非表示にしたい場合は、robots.txtを使用してそれを行わないでください。htaccessなどを使用して、重要なディレクトリをパスワードで保護してください。

3
Seth Warburton

Robots.txtとGoogle

また、robots.txtファイルに対して否定的な立場にあります。私のJoomlaサイトのディレクトリツリーを公に発表することはまったく好きではありません。

画像、CSS、JSファイルを探しているGoogleのアルゴリズムの最近の変更を考慮して、ウェブページを完全にフェッチしてレンダリングするために、Googleボットが必要なファイルにアクセスできるようにする方法を探していますウェブページと同時に、インデックスに登録してはいけないものをボットから隠すことができます。

Joomla

この方向に向けて、Joomlaの最近のバージョンには、botが画像やメディアファイルをクロールできるようにするrobots.txtファイルが更新されて出荷されています。

それでも、Joomlaサイトの大部分では、これらのファイルが存在する可能性のある場所が1つ以上あります。これは、テンプレートまたはメディアフォルダーと画像フォルダーだけでなく、モジュールまたはプラグインフォルダーにもなることができます。メディアフォルダーのすべてのコンテンツがクロールに使用できるとは限らない可能性があります。

X-Robots-Tag HTTPヘッダー-.htaccessおよびApache Webサーバー

私が現在実験を行っており、最終的には私の標準的な実装を作成したい別の方法は、X-Robots-Tag HTTPヘッダーを使用して、 robots.txtの使用は完全に避けてください。

.htaccessファイル内のX-Robots-Tagを使用して、あらゆる種類のロボットメタタグディレクティブを追加できます。htaccessファイルはルートディレクトリに配置でき、サイト全体にグローバルな影響を与えますが、それらはサイトの子ディレクトリの内部にいます。

例1：X-Robots-TagでPDFおよびサイト全体のGIFファイルのインデックス作成を許可しない：

ルートディレクトリの.htaccess：

<Files ~ "\.(pdf|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>


例2：特定のディレクトリのインデックス作成を許可しないX-Robots-Tag：：

そのディレクトリ内の.htaccess

 Header set x-robots-tag "noindex"

これにより、このディレクトリ内のページのHTTP応答ヘッダーにno-index X-Robots-Tagが追加されます。

Response Headers: X-Robots-Tag

正規表現を使用すると、あらゆる種類のディレクティブを指定する際に最大の柔軟性を実現できます。


役立つリソース：

Google Webmasters Documentation：Robots meta tag and X-Robots-Tag HTTP header specification。

3
FFrewin