web-dev-qa-db-ja.com

noindexページのクロール時間の回避

Robotsメタタグにnoindexのページがあります(具体的には、内部サイトの検索結果ページ)。私のサイトには多くのページがあり、Googleはそれらのすべてをクロールしていないため、無関係なページ(これらのnoindexページなど)に時間を無駄にしないようにクローラーの焦点を絞ろうとしています。

nofollowこれらのページにリンクするhrefに追加すると、助けになりますか?ターゲットページのnoindexは、クロール時間の「無駄」を避けるのに役立ちますか?これらのページを特定のフォルダーに作成し、robots.txtをブロックする必要がありますか?

2
Noam

Webクローラーの時間の損失を避けたい場合は、既にnofollowを持っているがrel="nofollow"<a>タグに入れているWebページのrobotsメタタグにnoindexを入れることができます。 robotsメタタグのnoindexとウェブページをリンクするウェブページリンクでは、私とは無関係のようです。

rel="nofollow"は、これらのリンクを信頼できないことを検索エンジンに伝えます。 WebサイトのWebページを信頼できない理由はありません。

1
Zistoloen