web-dev-qa-db-ja.com

nofollowはクロールを停止しませんか？

私のウェブサイトでは、ほとんどのページにリンクイン共有ボタンが次のように書かれています：

<li>
    <a id="share_linkedin" 
       href="/link/share/linkedin/Dance+Combo+%28Jazz%2C+Tap%2C+Contemporary+Dance%29+%28Age+16+or+above%29" 
       rel="external nofollow" 
       class="share_icon" title="LinkedIn" target="_blank">
        <span></span>
    </a>
</li>

これがボタンのすべてのページで使用する唯一のコードであると確信しています。

/link/share/ファイル内のすべてのrobots.txt URLのクロールもブロックしました。

ただし、Google Webmasterで「robots.txtによる制限」エラーが多数見られました。これらのエラーはすべて/link/share/linkedin/ URLに関連付けられています。ほぼ毎日このようなエラーが何百件も発生していますが、これらの毎日のエラーがウェブサイトのランキングに悪影響を与えるのではないかと心配しています。

だから私はグーグルが「nofollow」リンクのエラーを報告するのだろうか、そして私のコードの何が問題なのでしょうか？

更新：2011年4月9日に400件、2011年3月9日に370件のエラーが発生しました。ウェブサイトに何も問題がない場合、それを取り除くオプションはありますか？

google-search-consolerobots.txtgooglebotgoogle-indexnofollow
4
LazNiko

Google によると：

一般的に、私たちはそれらに従いません。つまり、Googleはこれらのリンクを介してPageRankやアンカーテキストを転送しません。基本的に、nofollowを使用すると、Webの全体的なグラフからターゲットリンクが削除されます。ただし、nofollowを使用せずに他のサイトがリンクしている場合、またはURLがサイトマップでGoogleに送信されている場合、ターゲットページは引き続きインデックスに表示される場合があります。

GoogleはURLをクロールしないことを保証しません。コンテンツがPageRankに影響を与えないというだけです。実際、Wikipediaのエントリ nofollow は、Googleが「nofollow」リンクをクロールすることを明示的に主張しますが、PageRankに影響を与えるためにコンテンツを使用しません。

Restricted by robots.txtメッセージは問題ありません。PageRankにも影響しません。情報提供のみです。

ただし、属性の「外部」部分は削除できます。標準のrel="nofollow"を使用することは、それほど堅牢ではないクローラーパーサーにとっておそらく安全です。

5
Mufasa

100％の確実性で言うのは難しいですが、おそらくコードに問題はありません。 nofollowのリンクはたどられませんが、別のWebサイトからでも別のページがリンクしている場合、別の手段（robots.txt、x-robots-tagなど）でブロックしない限り、Googleはそれをクロールします。したがって、Googleは明らかにページが存在することを知っており、クロールする可能性がありますが、robots.txtが原因で正しくクロールしていないため、レポートしています。最終的にあなたが望む結果を得ているので、私は心配しません。もちろん、すべてのリンクが正しくフォローされていないことを確認する必要があります。

1
John Conde

Googleウェブマスターの「robots.txtによる制限」エラー。

言い換えれば、nofollowディレクティブはGoogleによって記録されており、それに従っているため、エラーではありません。 Googleが設計したとおりに機能し、心配することはありません。

1
Fiasco Labs