301のディレクティングドメインを明らかにする方法をオンラインコンテストで知っている
ニッチに入るウェブマスターは、オンライン競争を事前に調査して、自分が何に敵対しているかを知り、彼らの目標が時間とお金の両方で現実的で手頃な価格であるかどうかを確認する必要があります。
ご存知かもしれませんが、オンラインで競争を調査する方法はいくつかあります。ランキング、ローカルランキング、引用、ソーシャルメンション、そしてもちろんバックリンク。この質問は、上記のいずれにも関連していませんが、少しの間関連があります。これは、最終的な目標がすぐに表示されるためです。
したがって、私の質問とそれに続く回答が、同じ問題に遭遇する他のウェブマスターの助けになることを願っています。私はこの問題をシナリオとして例証し、私が信じていることと私が求めていることのアイデアをあなたに与えることを願っています。
シナリオ
あなたのウェブサイトは、かなり競争の激しいニッチ内でほぼ2年間トップにランキングされています。そして、どこからともなくランキングを落とすと、ページ10に一度も載ったことがないサイトが、ポジション10を気にせずに突然トップになります。
即座の反応は不正行為であり、コンテンツとバックリンクを調査しますが、コンテンツが非常に薄く、バックリンクがゼロであることがわかります。したがって、ここでの可能性は、これらのチェックに使用するツールを使用して、そのサイトのバックリンクがまだインデックス付けされていないことです。または、何らかの理由でGoogleがエラーを発生させ、それ自体が解決されます。
4か月後、バックリンクが0の同じシンサイト（予想されるボット/スクレイパーからのみ-webstatsなど）が依然としてランキングでトップです。
そのため、このサイトはここにとどまるように見え、あなたのサイトが上位にランクされる他の理由について考え始めるでしょう。
考えられる理由の1つは、他の多くのサイトとともにあなた自身のランキングが落ちたが、それらのすべてのサイトのランキングを落とすことは非現実的であるため、今後の唯一の方法は、Googleによる評判またはファウルプレイのいずれかによってランキングを獲得したと信じることです。ここでの結論は、少なくとも私にとっては、問題のサイトが最近、あるドメインから別のドメインに移動したということです。あるドメインから別のドメインへの単純な301リダイレクトだけがある場合もあれば、Googleウェブマスターツール内でサイトを移動したことをGoogleに伝えている場合もあります。 シナリオオーバー。
質問
私の質問は非常に単純であり、テキストの長い段落をおaびしますが、ここで何が達成されようとしているのかについての良いアイデアが欲しいです。十分なタイピング、ここで質問です！
301リダイレクトを使用するか、Googleウェブマスターツールで移動することにより、あるドメインが別のドメインに移動したかどうかを調べることはできますか？
301リダイレクトされたURLを知ることは、常にではありませんがいくつかのケースで可能です。
AhrefsやMajesticSEOなどのいくつかのオンラインツールは、この種の情報を表示できます。 「リダイレクト」ステータスの下に分類されたバックリンクを見るだけです。
Ahrefの例：
ただし、ほとんどの場合、過去のリダイレクトされたURLは、良いSEOの場所（たとえば、PageRankの高いWebサイト）から非常に良いバックリンクを受け取っていたため、優れたSEOの専門家が301リダイレクトを見つけないようにする必要があります。
だからこそ、これらの良いSEOの場所を隠すため（そしておそらく誰もが非常に良いバックリンクを取得する良い機会）、オンラインツールでリダイレクトされたURLを見つけることができません。実際、専門家はリダイレクトされたURLについて、Googleを除くすべてのロボット（特にAhrefs、MajesticSEOのロボット）をブロックしています。
その結果、301リダイレクトはSEOにとって強力であり、人々にとっては隠されています。
追伸：専門家はクロージングを適用して、リダイレクトされたURLへのバックリンクを訪問者に隠すことができます。したがって、SEOのこれらの良い場所はさらによく隠されています。
次のようなサイトに関するあらゆる種類の情報を提供するサイトがいくつかあります。
- サイトのページ数
- サイトのトラフィックの見積もり
- 同じIPアドレスでホストされている他のサイト（ほぼ必要なもの）
- 同じ所有者に登録されている他のサイト（ここでも、ほぼ希望どおり）
他のドメイン名がサイトにリダイレクトすることを伝えるものを見つけることができませんでした。これらのサイトの1つがこのタイプの機能を追加することは、おそらくそれほど大きな問題ではないでしょう。
この質問に答えるためのツールを作成しようとした場合、次のようにします。
- DNSエントリがあるドメイン名のリスト全体をダウンロードします。これ自体がプロジェクトです。各レジストリにアクセスを申請するか、そのレッグワークを行ったブローカーに支払う必要があります。 stackoverflowに関するこの質問には、両方のアプローチに対する答えがあります
- 1億5000万の各ドメイン名からページをダウンロードして、他のサイトにリダイレクトされるかどうかを確認します。 1秒あたり約50を実行できるはずで、クロールには1か月以上かかります。このタスクは分割可能であるため、複数のマシンで作業することで高速化できます。このクローラーの帯域幅とホスティングコストはかなり大きくなる可能性があります。50KBのプレサイトの平均ダウンロードを想定すると、1秒あたり50サイトの帯域幅はおそらく約20 mb/sになります。
クロスドメインの正規タグを使用すると、これがより効果的であると思われます。 canonicalタグを使用すると、インデックスが作成されていないサイトがアクティブな状態に保たれるため、マネーサイトに渡すリンクの構築を続けることができます（既に301になっているページのリンクリクエストを送信するのは困難です）。
301を検出するための自動化された/既製の方法はありません。そして、あなたがそれらをすべて見つけたと確信する方法があるとは思いません。いくつかを見つけるのに役立つかもしれないいくつかのオプションは次のとおりです。
DNSルックアップ。同じ所有者が他のドメインを見つけることができるかどうかを確認します。これを見つければ、良い出発点になります。サイトのネットワーク（spyonweb.com私はそうだと思う）を探して見つけるために使用されるWebサイトがいくつかあります。彼らはAdSense ID、アフィリエイトID、DNS情報などを使用します。これらのフットプリントのうち、あなたは決して知らない。
オープンソースのWebクローラーは、301のリンクのみをたどって目的のドメイン名の結果を返すように調整できる必要があります。
あなたのニッチでリンク売り手を探してください。これはおそらくお金のサイトと可能性のある悪いリンクとの間にバッファを作成するために行われています（単一のリダイレクトされたサイトをシャットオフする方がはるかに簡単です。 ）。彼らがリンク購入に参加していることを意味している可能性があります。Xenuのようなものを販売者サイトで使用すると、301が表示されます。
inanchor: Googleで検索します。ブランドが適切にランク付けされている識別ブランドがある場合は、アンカーテキストでブランドを使用し、別のドメインに移動するリンクを表示することがあります（その後、希望するドメインにリダイレクトされます）。
これらの方法を使用して1つまたは2つのサイトを見つけた場合、より多くを見つけるために使用できるパターンを見つけることができます。
ただし、301の代わりに標準タグを使用している場合は、これらはすべて意味がありません。追加のクリエイティブ検索を実行できると確信していますが、これらは良いスタートを切るはずです。
-幸運を