PageRank：robots.txtで保護されているページを指すリンクは引き続きカウントされますか？
特定のウェブサイトwww.example.comへのすべてのリンクが特定のサブディレクトリ（つまりwww.example.com/user/[something]）のページを指しているが、そのディレクトリがrobots.txtのように立ち入り禁止の場合、.
User-agent: *
Disallow: /user/
これらのページをグーグル検索結果に表示したくないので、ページランクの観点から自分自身を撃ちますか？ robots.txtでターゲットページがGoogleで禁止されている場合、受信する「リンクジュース」はカウントされますか？
あなたの質問に答えて-「robots.txtでターゲットページがGoogleで禁止されている場合でも、受信した「リンクジュース」はカウントされますか？」 -noindex/nofollow URIの場合でも、PageRankはで計算されます。
Googleはrobots.txtによってブロックされたページのコンテンツをクロールまたはインデックス登録しませんが、Web上の他のページでURLが見つかった場合でもURLをインデックス登録する場合があります。その結果、ページのURL、およびサイトへのリンク内のアンカーテキストなどの一般に公開されている情報、またはOpen Directory Projectのタイトルが、Google検索結果に表示される可能性があります。
Google Webmaster Central：robots.txtファイルを使用してページをブロックまたは削除します
例：私の「working-model.com」ドメインには、覚えている限り、すべての排他的なrobots.txtが指定されていますが、 working-model.comのGoogle検索 （または Yahoo検索 、または Bing検索 ）は、ドメインのランクを表示します（おそらくドメインWHOISサイトのリンクの結果）。
Googleによってページのインデックスが作成されていなくても、それらのページには引き続きPageRankが割り当てられます。これは、それらにリンクすることにより、PRが他のリンクに渡されるのではなく単に失われるため、PRを「リーク」することを意味します。基本的に、リンクでnofollowを使用するのと同じです。したがって、robots.txtでブロックされている内部ページにリンクしている場合、基本的にはサイトの許可されたページに渡すPRの量を減らしています。
はい、GoogleはPageRankをロボット化されたURLに割り当てますが、そうではありません。そのようなURLを持っているか、それらにリンクすることで足元を撃っているわけではありません。認知されたPageRankフローの調整に費やす時間は、一般的にコンテンツの作業に費やすよりもはるかに優れています。
これに注意する唯一の理由は、robots.txtを使用している場合、重複コンテンツの制御が許可されていないことです。ロボット化されたURLはPageRankを収集できるため、Googleがそれらが重複していることを確認できないため（クロール可能であれば可能）、Googleは、ロボット化されたクロールされていないURLとクロール可能なバージョンの両方をインデックスに登録できます同じコンテンツ。重複するコンテンツのクロールを許可し、通常の正規化方法（301リダイレクトやrel = canonicalリンク要素など）のいずれかを使用することをお勧めします。