Googlebotは私のページを頻繁に取得します。rel-nofollow、meta-noindex、robots.txt-disallow
Googlebotは私のサイトのページを非常に頻繁に取得します。そして、これは私のウェブサイトを遅くします。 Googlebotがあまり頻繁にクロールしないようにします。
Googleウェブマスターツールのクロール速度を下げました。ただし、次の3つのツールを使用することを想定しています。
- Rel = "nofollow"を内部ページに追加します。そのため、Googlebotはそれらをクロールおよびインデックス登録しません。
- メタタグ「noindex」を追加して、Googleがこのページをインデックスから削除し、再度取得しないようにします。
- Disallow：/ mySomeFolder /をrobots.txtに追加すると、Googlebotはそのページをクロールしません。
最も重要な6〜7ページを除き、56.000ページにこれらの方法を使用する予定です。あなたはどの方法を好むでしょうか、また不利な点や利点は何ですかまたは、それは私のウェブサイトの速度などを変更しません。
Googlebotがウェブサイトをクロールする速度は、Googleウェブマスターツールで設定できます。 http://support.google.com/webmasters/bin/answer.py?hl=ja&answer=4862
これは、アクセスを拒否するのではなく、Googlebotのアクセスを制限する方法です。インデックスページがないため、サーバーにアクセスし続けます。 robots.txtの禁止は機能する場合がありますが、そのファイルを正しく編集するよう注意してください。 nofollowは1つの特定のリンクに対してのみ有効です。サイトマップにそのページへのリンクがある場合、彼らはそれをクロールします。
クロールレートとは、クロールプロセス中のGooglebotのリクエストの速度を指します。クロールの頻度や、URL構造のクロールの深さには影響しません。 Googleでサイトの新しいコンテンツまたは更新されたコンテンツをクロールする場合は、代わりにFetch as Googleを使用します。
Googleには、各サイトをクロールする量を決定する高度なアルゴリズムがあります。私たちの目標は、サーバーの帯域幅を圧迫することなく、訪問ごとにできるだけ多くのページをクロールすることです。
Googleが頻繁にサイトをクロールし、サーバーの速度が低下する場合、ルートレベルにあるサイトのクロールレート（Googlebotがサイトのクロールに使用する時間）を変更できます。たとえば、www.example.comや http://subdomain.example.com 。クロールレートを変更すると、いくつかの問題が発生する可能性があります（たとえば、Googleは設定したカスタムレートよりも高速でクロールできません）。Googlebotがサーバーにアクセスすることによって生じる特定の問題に気付いていない限り、これを行わないでくださいしばしば。
ルートレベルにないサイト（www.example.com/folderなど）のクロールレートを変更することはできません。
上記の3つの「解決策」（nofollow、noindex、またはDisallow）のいずれかを使用すると、SEOランキングに深刻な悪影響を及ぼします。
クロールレートはGMTWで制御する必要があります（@Anagio [+1]が示唆するとおり）
それでも機能しない場合は、Googleのユーザーエージェントを使用してサイトをスクレイプまたはスパムするGooglebotのなりすましに対処している可能性があります。私は（SEOとしての8年間で）Googlebotのデフォルトのクロール評価に関する問題を一度も経験したことがないため、これが当てはまると思います...
なりすまし者を特定するには、Botopedia.orgのIP検証機能を使用して、この訪問者のIPが実際にGoogleに接続されているかどうかを確認することをお勧めします。リンクは次のとおりです。 Googlebot IP check
Googlebotのなりすまし現象の詳細については、こちらをご覧ください。 調査結果：Googlebotの全訪問の16％は偽物です