ボットにWebサイトを忘れて最初から再インデックスするように指示する方法
Robots.txtまたはサイトマップに追加して、ボットにWebサイトについて知っているすべてのことを完全に忘れてゼロからインデックス登録するように指示できるものはないかと思いましたか？
コンテキスト：CMS-xで行われたWebサイトをCMS-yで行われた新しいWebサイトに置き換えると、ページ/リンク/リソースの99％が失われるか、別の場所に移動されます（適切な404/410リダイレクトがある場合でも） 、ウェブサイトをインデックス化しているボットが古いものにアクセスしようとしない方が良いでしょう。
基本的にこれ： ブログ記事が更新されたことをグーグルに伝える方法 しかしサイト全体
それは不可能です。 SEOとユーザーエクスペリエンスのために、リダイレクトを使用して古いURLを新しいURLにマップする必要があります。
Googleは、10年経っても古いURLを決して忘れません。新しいCMSに移行するときは、ページレベルのリダイレクトを実装する必要があります
特定のページに相当するものがない場合は、404に設定すると、Googleがインデックスから削除します。代わりに「410 Gone」を使用すると、Googleが「404 Not Found」に使用する24時間の猶予期間なしでクロールされるとすぐに、URLがインデックスから削除されます。
検索コンソールまたはrobots.txtのいずれかで、ボットに古いサイトを忘れるように指示するディレクティブはありません。
リダイレクトしないとどうなりますか？
リダイレクトするには手間がかかり過ぎるか、新しいCMSによってリダイレクトの実装が容易にならない可能性があります。
リダイレクトを実装しないことを選択した場合、最初からやり直すようなものになります。 Googleは古いURLが404ステータスを返すことを確認し、検索インデックスから削除します。
新しいURLは最終的にインデックスに登録されますが、しばらく時間がかかる場合があります。リダイレクトせずにすべてのURLを変更することは、サイトが不安定で信頼できないことを示す大きな兆候です。すべてのランキングが失われ、サイトが最初からやり直されます。
Googlebotは古いURLを何年もクロールし続けます。それのために、いつかあなたがそれらのページを元に戻すかもしれないという願いが永遠に湧くのを願っています。
リダイレクトすると、すべてのインバウンドリンク、ユーザーのブックマーク、および現在のランキングのほとんどが保持されます。
どうして？
それでは、検索エンジンに「リセット」ボタンがないのはなぜですか。ほとんど常により良いオプションがあるからです。あなたの場合、リダイレクトする方がはるかに良いです。
サイトにペナルティが課された場合、Googleはリセットボタンを提供しません。リセットボタンを使用すると、すべてのペナルティが削除される可能性があるためです。
どうやって？
では、どのようにリダイレクトを実装するのですか？古いURLのリストが必要です。あなたはあなたが始めることができるあなたの古いサイトからのサイトマップを持っているかもしれません。サーバーログ、Googleアナリティクス、またはGoogle検索コンソールからもリストを取得できます。
事前に計画している場合は、新しいCMSのURLは同様になり、それらを処理するための書き換えルールを実装できます。古いURLと新しいURLの間にパターンがある場合、それは。htaccessファイルの1行で、サイト全体にリダイレクトを発行できます。
新しいURLを手動で見つけて、それらの数千を1つずつマップする必要がある場合は、RewriteMap機能を調べることができます。