ボットからダウンロードファイルを非表示にする方法
可能性のある複製：
フォルダ内のすべてのファイルのダウンロードを制限する方法
プライベートファイルをダウンロードできるようにしますが、ユーザー名/パスワード保護は使用しません。 downloadのようなディレクトリにファイルを置きたいです。どうすれば確認できますか：
- ファイルが検索エンジンの結果の一部にならず、かつ
- ディレクトリ名を推測する可能性のあるボットはファイルにアクセスできませんか？
まず最初に、適切な robots.txt エントリを追加して、特定のディレクトリをインデックスに登録せずに無視するようボットに指示します。
ボットはrobots.txtの意図に従う必要がありますが、一部の人（またはボット）は意図的にそれらを読んで、あなたが隠したいものを知るようにします。
そのため、Webサーバーがディレクトリ内のすべてのファイルのインデックスを自動的に作成し、推測しにくいファイル名を作成しないようにする必要があります。これは不明瞭なセキュリティです。
ファイルを返すときに、最後の手段として比較的新しい X-Robots-Tags を追加し、「noindex、noarchive」などのディレクティブを追加することも考えられます。この方法では、たとえファイルがインデックス付けおよびキャッシュされるべきではないとしても、Googleボットはそれを見つけます。しかし、他の人はタグを知らないでしょう。
プログラムで、アクセスするクライアントがボットでない場合にのみダウンロード用のファイルを返すコードを作成することもできます。ここでの問題：ボット検出は終わりのないストーリーであり、偽装される可能性があります-ほとんどすべてがHTTPヘッダーに付属しているためです。
アクセスできるクライアントの範囲を制限したり、既知のボットIPアドレスを除外したりするための別の手段として、IPアドレス範囲でアクセスを制限することもできます（ただし、頻繁に変更されます）。