新しいドメインに移動するときにrobots.txtをリダイレクトする
サイトを新しいドメイン、ローカルtldに移動しています。 robots.txtを除くすべてを新しいドメインに正常にリダイレクトしました。私の質問は、301リダイレクトでolddomain.com/robots.txtをnewdomain.com/robots.txtにリダイレクトする必要があるということでしょうか？この状況に一般的な慣行はありますか？
これは本当に興味深い質問です。公式ステートメントを gary Tweet。 から検索するのに数分かかりました。
Googleが404/30Xステータスを確認すると、Googleはrobots.txtを完全に無視します。 robots.txtがまったくないようなものです。
ただし、Googleが50Xステータスまたはサーバー側のエラーを検出した場合、サーバーの構成に忙しいため、Googleはサイトのクロールを停止します。
そのため、robots.txtをリダイレクトしないでください。そうする場合は、新しいサイトrobots.txtで同じことをブロックしてください。
古いドメインのrobots.txtは、Googleが現在のドメインのウェブサイトをクロールするのに役立ちます。
したがって、olddomain.com/*をnewdomain.com/*に正しくリダイレクトすると、robots.txtが許可され、新しいrobots.txtに適切なルールを配置する必要があります（cmsまたはurl形式も変更する場合は、コンテンツを変更します） ...）
それが役に立てば幸い ...