URLがScreaming frogでクロールされるのは正常ですか？それでも、それらにはno-followおよびno-indexタグがあります
叫び声のカエルにたくさんのURLが表示されていますが、URLはフォローされておらず、インデックスも付けられていませんが、それでも叫び声のカエルでクロールされています。大丈夫ですか、これで何か変更すべきですか？
あなたが述べていることは正常です。 noindexもnofollowも、Screaming FrogやGooglebotなどのクローラーがこれらのページをクロールできないようにするべきではありません。
Screaming Frogがnofollowページを検出すると、そのページのリンクをクロールキューに追加しません。 nofollowは、そのページ自体のクロールを妨げません。 Screaming Frogは " Follow internal or external ‘nofollow' "と呼ばれる設定オプションをサポートしており、nofollowページ上のすべてのリンクをクロールします。ただし、その構成オプションはデフォルトでは有効になっていません。
Screaming Frogは検索インデックスを作成しないので、noindexは通常それに適用されません。 Screaming Frogは、 " respect noindex "と呼ばれる構成オプションをサポートしています。これにより、Screaming Frogはレポートにnoindex URLを含めません。 Screaming FromがURLをクロールすることを妨げないことに注意してください。URLについてはレポートしません。これは、GooglebotがURLをクロールする方法に似ていますが、URLを検索インデックスに含めません。必要に応じて、その構成を有効にすることができます。