robots.txtで許可されていないディレクトリにアクセスする方法は？
ユニスキャンでウェブサイトをスキャンしていると、robots.txtファイルや他のディレクトリへのアクセスが許可されていない/cgi-bin/ファイルが見つかりましたが、ブラウザではアクセスできません。許可されていないディレクトリまたはファイルにアクセスする方法はありますか？
Robots.txtでは、ディレクトリへのアクセスは許可されていません。これは、特定のフォルダーをインデックスに登録しないようにGoogleとBingに指示します。そこにシークレットフォルダーを配置すると、GoogleとBingはそれらを無視しますが、他の悪意のあるスキャナーはおそらくその逆を行います。事実、あなたは秘密にしたいものを配っています。フォルダーを禁止するには、Apache vhostまたは.htaccessでこれを設定する必要があります。必要に応じて、フォルダにログインを設定できます。
Robots.txtファイルはセキュリティ対策ではないため、アクセス許可は発生しません。このファイルは、インデックス作成を回避するためにWebサイトの一部をスキップするように「良い」ロボットに指示するだけです。悪いロボットはそれらのルールを守らず、見つけることができるすべてをスキャンしません。したがって、セキュリティがrobots.txtファイルに依存することは決してありません（その目的ではありません）。
許可されていないディレクトリまたはファイルにアクセスする方法はありますか？
ウェブサーバーの権限を確認してください。
はい、ディレクトリに移動します。
robots.txtは、クローラーが礼儀に従って従うものにすぎません。クローラーはファイルを完全に無視できます。これは、ディレクトリをプライベートに保つ実際の方法ではありません。