検索エンジンロボットは、許可640でファイルを読み取ることができますか？
Linuxサーバーをホストしている共有Webを使用しています。検索エンジンのロボット/スパイダーがrobots.txtを読み取れるようにしたいが、www.mysite.com/robots.txtを入力した人は誰も読み取れないようにしたい。
次のように google group post 、ユーザーはファイル許可を640に設定することにより、世界中のrobots.txtファイルへのアクセスを拒否することができますが、検索エンジンロボットはそれらを読み取ることができます。
本当？そうでない場合、robots.txtへの一般公開アクセスを拒否することはできますが、検索エンジンロボットはそれらを読み取ることができます。
サーバー上の検索エンジンからrobots.txtにアクセスできる限り、ユーザーはアドレスを入力することで直接アクセスできます。
ただし、特定のユーザーエージェントフィルターを使用して.htaccess経由でアクセスをブロックできます。つまり、検索エンジンのユーザーエージェントのみにアクセスを許可します。
Robots.txtファイルを盲目的に推測するために偽のユーザーエージェントにだまされない限り、安全である必要があります。
本当の質問は次のとおりです。ユーザーにそれを見せてはどうですか？
重要な情報がウェブ上に表示するには重要すぎる場合は、パスワードで保護された壁の後ろを除き、オンラインで公開しないでください。
いいえ、そうではありません。ボットまたは人がサイトにアクセスしているかどうかにかかわらず、すべてのリクエストに対して同じ方法でrobots.txtファイルにアクセスするWebサーバーソフトウェア（Apacheなど）を経由します。それは常にそれを読むことができるか、または決して読むことができません。そうでない場合は、おそらく何かが間違って設定されています。