301リダイレクトを使用してサイトを移動する場合、robots.txtを設定して、ロボットが古いアドレスをクロールできないようにする必要がありますか？
私が作業しているサイトは、301リダイレクトを介してサブドメインを別のサブドメインに移動しました。ただし、古いサブドメインのrobots.txtをチェックする場合、robots.txtが含まれているため、検索エンジンのWebクローラーがクロールできなくなります。
これは正しい動きですか？クローラーが古いサイトをクロールして301ステータスコードを表示することはできないため、いいえ。
あなたが言った正確な理由で、あなたの疑いは正しいです。ロボットが古いサイトにアクセスすることを許可しない場合、301リダイレクトを見ることができません。
クローラーが古いサイトをクロールして301ステータスコードを表示することはできないため、いいえ。
はい、正確に-これは「正しい動き」ではありません。おそらくSEOを保持するために301リダイレクトを実装する場合、リダイレクトされているURLをブロックすると、検索エンジンがリダイレクトを認識して新しいコンテンツをインデックス付けできなくなります。
Robots.txtはそのままにしておきますが、古いページと新しいページに適切なバージョンのCanonicalタグがあることを確認してください。これは、検索エンジンが何が起こったかを理解するのに役立ちます。