ウェブサイトの下のすべてのリンクを見つける
Webサイトの下にあるすべてのディレクトリとリンクを見つけるにはどうすればよいですか？ホームページから他のすべてのページへのリンクがないことに注意してください。たとえば、users.company.comのようなドメインがあり、各ユーザーがusers.company.com/john、users.company.com/peterなどのリンクを持っているとします。しかし、そこには何人のユーザーがいるかわかりませんすべてのリンクとは何ですか？すべてのリンクをチェックするために総当たりしたいです。このサービスを提供するツールやウェブサイトはありますか？ pythonこのジョブを実行するスクリプトを記述したい場合、Pythonでこれを開発するための情報はどこで入手できますか？
OWASPプロジェクトによって開発された dir-buster と呼ばれるプログラムがあります。これは、ファイルとフォルダの名前を総当たりするために、あなたが望んでいることを正確に実行すると私は信じています。
サイトを引用するには：
DirBusterは、マルチスレッド化されたJava Web /アプリケーションサーバー上のディレクトリとファイル名をブルートフォースにするように設計されたアプリケーションです。多くの場合、デフォルトインストールの状態のWebサーバーのようになりますDirBusterはこれらを見つけようとします。
また、次のことに注意する必要があります。
この性質のツールは、多くの場合、付属のディレクトリとファイルリストと同じくらい優れています。これらのフォルダを見つけるのに役立つデータを使って、このリストを更新したことを確認してください。
あなたの質問に答えてくれることを願っています！
skipfish の使用をお勧めします：
以下のスニペットは./skipfish/doc/dictionaries.txt（ドキュメント全体を読むことをお勧めします）：
"知っておくべき基本的なディクショナリ依存モード（関連するリクエストコストの順に）：
1）DirBusterのようなブルートフォースがまったくない整然としたクロール。このモードでは、スキャナーは/admin、/index.php.oldなどのリンクされていないリソースを検出しません。
$ ./skipfish -W- -L [...その他のオプション...]
このモードは非常に高速ですが、辞書ブルートフォーシングの欠如によりカバレッジが制限されるため、一般的な使用には[〜＃〜]（〜＃〜]をお勧めしません。どうしても必要な場合にのみ使用してください。
2）最小限の拡張力で整然とスキャンします。このモードでは、スキャナーは/ adminなどのリソースを検出しませんが、/ index.php.oldなどのケースを検出します（通常のクロール中にindex.php自体が検出されると）。
$ touch new_dict.wl
$ ./skipfish -S dictionaries/extensions-only.wl -W new_dict.wl -Y [...その他のオプション...]この方法は、＃1よりも要求の集中度がわずかに高いだけなので、時間が重要な場合にはわずかに優れた代替手段です。それでも、ほとんどの用途にはお勧めできません。コストは、ファジングされた場所ごとに約100リクエストです。
3）ディレクトリOR拡張ブルートフォースのみ。このモードでは、スキャナーは常にファイル名または拡張子のファジングのみを試行しますが、可能なすべての$ {を試行するわけではありません。辞書からのファイル名}。$ {拡張子}のペア。
$ touch new_dict.wl
$ ./skipfish -S dictionaries/complete.wl -W new_dict.wl -Y [...その他のオプション...]この方法は、ファジングされた場所ごとに約2,000リクエストのコストがかかり、特に低速のサーバーまたは非常に大規模なサービスで作業している場合は、迅速な評価に推奨されます。
4）通常の辞書ファジング。このモードでは、すべての$ {filename}。$ {extension}ペアが試行されます。このモードは大幅に低速ですが、カバレッジが優れているため、出発点となるはずです。」
追加の辞書については、 fuzzdb をチェックしてください。特に、次のファイル：
fuzzdb-1.09/Discovery/ FilenameBruteforce
fuzzdb-1.09/Discovery/ PredictableRes
Burp Spider 、Burpツールスイートの一部には、Webアプリケーションの一般的なファイルとディレクトリを識別するための便利なスパイダーツールがあります。これは、すでに提案されているオプションと一緒に使用できるもう1つの便利なオプションであり、私の経験からすると、使い方はかなり簡単です。
あなたに似ているこの質問をチェックすることも検討してください：
Python Web Crawler には良いリストがあり、多くの回答があったようです。提案のいくつかは Harvest Man および spider.py モジュールでした。
投稿されたそのようなタスクには recipes もあり、独自のWebクローラーまたはスクレーパーの開発を支援する少なくとも1つのフレームワーク Scrapy があります。
お役に立てれば。