カエルのクロール、画像、JS、CSSファイルの叫び

Question

無料バージョンのScreaming frogに自分のWebサイトURLを接続すると、画像、CSS、およびJSファイルもリストされます。それはそのようになると思いますか？

Answer 1

デフォルトでは、Screaming Frogは画像、CSS、JSをクロールしますが、クロールをオフにする構成項目があります。 SEO Spider Configuration | Screaming Frog を参照してください。設定は構成の[Spider Crawl]タブにあります。