robots.txtがウェブサイトをGoogleから削除するのにどれくらいの時間がかかりますか
ルートにrobots.txtファイルを作成しましたが、ウェブサイトは引き続きGoogleによってインデックスされています。 robots.txtがウェブサイトをGoogleから削除するのにどれくらいの時間がかかりますか？
場合によります。 robots.txtが行うことは、どのコンテンツをインデックスに登録するか、または登録しないかをクローラーに伝えることです。しかし、それはクローラーと通信するだけです。クローラーの所有者がコンテンツのインデックス作成（およびクリーンアップ）を処理する方法は、その内部プロセスによって異なります。つまり、プロセスのその側面を処理したい限り、時間をかけることができます。
実際には、結果は数日から1か月間で急速に変化します。この予測不可能性は、SEO（検索エンジン最適化）の概念全体が、Webサイト管理に「予防の対オンス」アプローチを取るWebサイトの所有者/管理者に基づいている理由です。制御できるのはコードだけです。残りはあなたの手に負えないので、できるだけきれいにページを表示する必要があります。
GoogleウェブマスターツールにあるURL削除ツールを使用して、物事を高速化します（robots.txtでブロックした後）。これには24時間はかかりません（サイト全体を削除するには/を入力します）。
https://www.google.com/webmasters/tools/url-removal
ロボットファイルには、サイトをクロールしないようにすべてのロボットに指示する1行が含まれている必要があります。
ユーザーエージェント：*許可しない：/
Robots.txtは、クロールを許可せず、indexingを許可しません。
Googleが次にページをクロールしようとすると、おそらくrobots.txtをチェックして、クロールが許可されなくなったことに気付くでしょう。これにより、Googleはページにアクセスできなくなりますが、必ずしもこれらのページをインデックスから削除するわけではありません（また、新しいページがインデックスに登録されないことも意味しません;リンクを見つけることができますこれらのページのどこかへ）。ページはまだインデックスにリストされている可能性があります（ただし、ページからタイトルやスニペットを取得する必要はありません）。
インデックス作成を停止する場合は、 meta-robots要素またはX-Robots-Tag HTTPヘッダー を使用する必要があります。その場合、 クロールを許可する必要があります これらのページはrobots.txtにあります。そうしないと、Googleはインデックス登録を許可していないことを知ることができません。