robots.txtでリダイレクトされた（リンクされたままの）URLをブロックしても安全ですか？
すべてのURLが最適化され、厄介なURLからクリーンなURLに301リダイレクトされるWebサイトがあります。ただし、サイト内のどこでも、不潔なURLはメニュー、コンテンツ、製品などにリンクされています。Googleは現在、いくつかの不潔なURLとともに、すべての不潔なURLのインデックスを作成しています。
そのため、サイトはまだ古いURLにリンクされています（理想的にはそうではありませんが、これがATMです）。
robots.txtで汚れたURLをブロックしたいと思います。
質問：robots.txtでこれらの汚れたURLをブロックすると、Webサイト全体がリンクされます（ただし、それらはすべてきれいなバージョンにリダイレクトされます）、これはインデックス作成ステータスにまったく影響しますか？
Robots.txtで汚れたURLを許可しない場合、ポライトボットはこれらのURLにアクセスしなくなります。そのため、クロールが許可されている他のURLに301リダイレクトされていることに気付かないでしょう。クリーンURLをまだ知らないボットは、これらのページがクリーンバリアント（ブロックされているクリーンでないバリアントではない）に直接リンクされている場合にのみアクセスできます。
したがって、not robots.txtでブロックする必要があります。
クリーンでないURLを対応するクリーンなURLに301リダイレクトしているので、何もする必要はありません。ボットは何をすべきかを知っています。いくつかの検索エンジンにまだクリーンでないURLがインデックス付けされている場合、インデックスを更新するのは時間の問題です。
robots.txtで何かをブロックする必要はありません。最近はページでrel="canonical"を使用するだけです。 Googleが推奨されます。
インデックス化された非クリーンURLに関しては、標準のURLを使用する場合、これらは自動的にインデックス解除/更新されますが、ページの置換がなく、単に削除したい場合は、両方のnoindexを使用しますHTMLおよびdisallow: /unclean-url/の-robots.txt（Googleではrobots.txtとnoindexの両方の使用を推奨しています）。
また、SEOの目的のために、301リダイレクトによって失われたページジュースをできるだけ早く修正する必要があります。
これらのブロックされたURLではリダイレクトは機能しません。 301リダイレクトを追加した後、標準を適用する必要はありません。これは、大手ブランドがURLを変更し、SEOmozがMozに名前を変更した後に行ったように何百万ものリダイレクトを行ったWebサイトに影響を与えません。