web-dev-qa-db-ja.com

IPアドレスが本当にGoogleのIPかどうかを識別する方法

サーバーログで学んだことから、64.249で始まるIPアドレスはgoogleに属します。 Googleでコンピューターでホストルックアップを実行すると、74.125.226で始まる11個の異なるIPアドレスを受け取ります。

それからここに行きます http://www.iplists.com/ とGoogleのIPアドレスがもっとたくさんあることを見つけます。

Googleのコマンドプロンプトでwhoisルックアップを実行し、「50件のレコードが見つかりませんでした.....」と、GOOGLE.COM.ANGRYPIRATES.COMやGOOGLE.COMなどの異常な名前のサーバーが多数あることを確認しました。 AFRICANBATS.ORG。 91.218.229.20など、これまで見たことのないさまざまなIPアドレスとともに。

私がやりたいのは、実際のGoogle IPアドレスをホワイトリストに登録することです。これまでに見つけたすべてのIPアドレスをすべてホワイトリストに追加する必要がありますか、それともGoogleアドレスをホワイトリストに登録する前に他に注意すべきことはありますか？

ソース http://www.iplists.com/ などのIPアドレスを検索する他の人に頼りたくない私のホワイトリストは頻繁に。

googleweb-crawlersip-address
7
Mike

Googlebot/Googleを検証する公式ドキュメント から：

Googleは、static「ホワイトリスト」の使用を推奨していないことに注意してください。

サーバーにアクセスするWebクローラーが本当にGooglebot（または別のGoogleユーザーエージェント）かどうかを確認できます。これは、スパマーや他のトラブルメーカーがGooglebotであると主張している間にあなたのサイトにアクセスしていることが心配な場合に便利です。 Googleは、ウェブマスターがホワイトリストに登録するIPアドレスの公開リストを投稿しません。これは、これらのIPアドレスの範囲が変更される可能性があるため、ハードコーディングされたWebマスターに問題が発生するため、次に説明するようにDNSルックアップを実行する必要があるためです。

Googlebotを発信者として確認するには：

  1. Hostコマンドを使用して、ログからアクセスIPアドレスで逆DNSルックアップを実行します。
  2. ドメイン名がgooglebot.comまたはgoogle.comにあることを確認します。
  3. 取得したドメイン名に対してHostコマンドを使用して、手順1で取得したドメイン名でDNS前方参照を実行します。ログから元のアクセスIPアドレスと同じであることを確認します。

（自分のエンファシス）

実際の例については、Googleのドキュメントをご覧ください。
https://support.google.com/webmasters/answer/80553?hl=en

7
MrWhite

まず最初に。

私たちが話している2つのドメイン名があります。 Google.comおよびGooglebot.com。 Google.comを逆引きすると、誤解を招く恐れがあります。

ここに私がかなり前に答えたものがあり、そこで私は8年以上私のサイトをクロールするために使用されたGoogle IPアドレスの監査をしました。これは、すべてを網羅したリストではありませんが、歴史的な見方を示すことができます。

Googleは173.194.90.xxx IPを何に使用しますか？googlebot.comポインターではないのはなぜですか？

このリストでは、正しいIPアドレス範囲64.249が表示されています。

私はこの答えに対して簡単な監査を行いました。これは、googlebotの現在のホワイトリスト（エージェント名）です。ワイルドカードはご容赦ください。範囲をより効率的に理解するためにコードを更新しましたが、リストは更新していません。ごめんなさい。この場合、単純な正規表現を使用して、IPアドレスを最小限の策略でリストと比較し、*を正規表現が理解できるものに置き換えます。コードを使用してIPアドレスをリスト全体と比較できるため、十分に高速です。

64.233.160.*
64.233.161.*
64.233.162.*
64.233.163.*
64.233.164.*
64.233.165.*
64.233.166.*
64.233.167.*
64.233.168.*
64.233.169.*
64.233.170.*
64.233.171.*
64.233.172.*
64.233.173.*
64.233.174.*
64.233.175.*
64.233.176.*
64.233.177.*
64.233.178.*
64.233.179.*
64.233.180.*
64.233.181.*
64.233.182.*
64.233.183.*
64.233.184.*
64.233.185.*
64.233.186.*
64.233.187.*
64.233.188.*
64.233.189.*
64.233.190.*
64.233.191.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.67.*
66.249.68.*
66.249.69.*
66.249.70.*
66.249.71.*
66.249.72.*
66.249.73.*
66.249.74.*
66.249.75.*
66.249.76.*
66.249.77.*
66.249.78.*
66.249.79.*
66.249.80.*
66.249.82.*
66.249.83.*
66.249.84.*
66.249.85.*
66.249.86.*
66.249.87.*
66.249.88.*
66.249.89.*
66.249.90.*
66.249.91.*
66.249.92.*
66.249.93.*
66.249.94.*
66.249.95.*
74.125.*
173.194.*

GOOGLE.COM.ANGRYPIRATES.COMおよびGOOGLE.COM.AFRICANBATS.ORGは、ドメインまたはサブドメインハッキングと呼ばれるものです。これらはGoogleにまったく属していません。これは、いつでも誰でもどのドメイン名に対してもできることです。これがどのように行われるかの詳細に入ることなく、ネット上で情報を見つけることができます。ここで説明して、この動作を奨励したくありません。

4
closetnoc