私は現在、ユーザーが従来のスクレイピング/スパイダー方式を使用してページの提供されたドメインをクロールできるようにするPythonベースのOSINTツールを構築していますが、Webアプリケーションの共通ページを「ブルートフォース」して続行しようとするオプションも必要です見つかった結果に基づくクロール。たとえば、ユーザーがドメイン名(example.com)を提供できるようにしてから、メインサイトで見つかったリンクを使い果たしたら、存在する既知/共通ページの定義済みリストを体系的に試したい( example.com/wp-login.php、example.com/admin.phpなど...)次に、ブルートフォースで見つかったページを使用して、クロールを続行します。
NMapには http-enum nse script を使用してこれに似たものがあることを知っています。ただし、生の.nseファイルを調べたところ、リストからプルしているようではなく、別の方法でリンクを構築しているようです(nseでは方法がわからないほど強力ではありません)。私のプログラムにフィードできる可能性のある一般的なページのリストが存在するかどうか誰かが知っていますか?これは「Googleドーク」の領域に該当すると思いますか。 「トップ100」のようなものでもいいでしょう。
これがうるさいことは知っていますが、スキャンをどの程度積極的に実行するかをユーザーが制御できるようにする予定です。
前もって感謝します!
あなたが探している種類のツールは「ウェブファザー」と呼ばれていると思います。クイック検索により、オープンソースツール wfuzz が見つかりました。これには、wordlist
と呼ばれるフォルダーが含まれています。