Blackhat-競合するコンテンツをインデックスに登録する前にコピーする
タイトルは質問をほぼまとめています。私は非常に競争の激しいニッチにいます。
比較的強力なサイトを持っているにもかかわらず、私のコンテンツはすぐにインデックスに登録されるとは限りません。
最近、競合他社が私のコンテンツをコピーし、正確な複製を投稿したケースがありましたが、私がそれを書いているにもかかわらず、彼はその投稿でランク付けされました。
質問：
- コンテンツがgoogleによってまだインデックスに登録されていないの場合、誰でも無料でそれを取得してサイトにコピーできますか？、盗まれたコピーが元のコピーの前にインデックス化されることを期待していますか？これはしばしばブラックハットのテクニックとして起こりますか？
- 検索コンソールでGoogleとしてフェッチを使用してからインデックスに送信できることを理解しています。通常、これを行うとコンテンツがすぐにインデックスに登録されますが、コンテンツを自然に発見するためにGoogleを好むのではなく、常にこれを行うのは好きではありません。自然なコンテンツの発見が間違っているので、各投稿を手動でインデックスに送信する必要がありますか？
どんな答え/提案も歓迎します。
これは競争の激しい環境で直面する一般的な問題であり、コンテンツがニッチなトピックである場合はさらにそうだと思います。
Q：コンテンツがまだGoogleによってインデックスに登録されていない場合、誰でもそれをつかんで自分のサイトにコピーできますか？元のコピーの前にインデックスが作成されますか？これはしばしばブラックハットのテクニックとして起こりますか？
A：Googlebotがクロールするタイミングと方法については、多くの未知の要因が知られています。たとえば、 Googleは最初にhttpsをクロールし、httpの前にクロールします 。コンテンツ所有者として、あなたにはその配布に対する唯一の権利があります。そのため、あなたが居場所に応じて著作権を主張している場合、法的措置を取ることができるかもしれません。
ウェブマスターに直接連絡してコンテンツの削除をリクエストすることを検討できますが、これは必ずしも実りがあるとは限りません。または、 Who Is Hosting This のようなものを検討して、ホストが誰であるかを特定し、直接連絡することもできます。多くの場合、Webホストはより適切な方法でアクションを実行し、重複したコンテンツを削除するためにWebサイトを完全にオフラインにすることさえあります。
もう1つのオプションは、 Google DMCA（デジタルミレニアム著作権法）苦情ルート です。 google.comから直接取得：
このページは、該当する法律に基づいてGoogleのサービスから削除するコンテンツを報告する適切な場所に到達するのに役立ちます。
しかし、最終的には、はい、これは実際に発生します、野生で、これを経験しているのはあなただけではありません。
幸いなことに、将来この種の動作を阻止するのに役立つ幅広いツールを自由に使用できます。
Google Alerts ：たとえば、記事の一部を入力して、検索するウェブサイトの種類を選択してから、 Googleが結果を連絡できるように、メールアドレスを入力してください。 （必要な数のアラートを設定し、毎日、毎週、または「発生時に」通知されるように設定を調整できます）。
Copyscape：これは有料のオプションですが、このサイトはウェブを検索し、どのサイトが再投稿しているかを知らせますコンテンツ。
Q：検索コンソールでgoogleとしてフェッチを使用してからインデックスに送信することができます。通常、これを行うとコンテンツがすぐにインデックスに登録されます-しかし私はいつもこれをするのが好きではなく、むしろ自然にコンテンツを発見するためにグーグルを好む。自然なコンテンツの発見が間違っているので、各投稿を手動でインデックスに送信する必要がありますか？
この場合、実際には「間違った」または「正しい」ものは存在しないため、これは主観的な質問です。 1日の終わりに、コンテンツをGoogleに直接送信すると、よりタイムリーにインデックスに登録されることが証明され、その結果、このような状況に陥る可能性を減らすことができます。
検討すべきもう1つの優れたオプションは、Google +経由で投稿することです。これは、実質的に即座にインデックスが作成されます。
最終的に、SEOは目的地ではなく、継続的なフォローアップと継続的な注意を要する生涯にわたるタスクです。これは、途中で経験する障害の1つにすぎません。あなたがその行動に気づいたという事実は、すでにあなたの競争の大部分よりもはるかに先を行っているので、よくやった！
サイトをスクレイプしにくくする
ほとんどのスクレイパーはRSSフィードをダウンロードして、新しいコンテンツを表示します。記事の完全なコンテンツをRSSフィードに入れると、very簡単にスクレイパーが完全なコンテンツを取得して再公開できます。これに対処するには、RSSフィードに記事の要約のみを配置するか、RSSを完全に無効にする必要があります。
スクレイパーが使用できるもう1つのメカニズムは、XMLサイトマップです。潜在的なスクレイパーに見せることなく、GoogleにXMLサイトマップへのアクセスを許可できます。そのためには、サイトマップにカスタム名を付けて、Search Console経由でGoogleに送信します。リンクしたり、robots.txtファイルに入れたりしないでください。
スクレイパーは、コンテンツを取得するためにボットに依存しています。彼らはあなたのサイトを頻繁にそのボットで見に来ます。サーバーのログを調べて、その動作を特定し、コンテンツスクレイパーに属する可能性のあるIPアドレスをブロックできるかどうかを確認してください。
Googleがインデックスを作成するまで、リンクされていないURLにコンテンツを公開することは、私が見たもう1つの戦略です。たとえば、WordPressでは、記事をホームページに表示しない「下書き」機能を使用できます。それまでの間、Googleにページについて伝え、クロールさせてください。
Googleにコンテンツのインデックス作成を高速化
Google Search Consoleに手動でページを送信することは、コンテンツのインデックスをすばやく作成する1つの方法ですが、おっしゃるように、それは苦痛です。コンテンツをGoogleに知らせる方法は他にもあります：
- サイトマップXMLファイル
- https://pingomatic.com/ などのPingサービス。新しいコンテンツについてGoogleに通知し、サイトの評判が十分であれば、Googleはすぐにクロールします。
- Twitterに記事へのリンクを投稿します。 Googleは彼らの「ファイアホース」にアクセスし、通常は数分以内にTwitterにリンクされたものをクロールします。
多くのコンテンツ管理システムには、機能が組み込まれているか、それらを自動的に実行するプラグインがあります。
スクレイパーサイトに反応する
コンテンツを含むスクレイパーサイトを見つけた場合、DMCAリクエストでそれらを削除することができます。
過去には、 Googleが求めた スクレイパーサイトのレポートが元のサイトを上回っていました。ただし、提出プロセスは現在終了しています。現在、Googleに送信する場所がわかりません。