Googleは異なるポートを異なるサイトとして扱いますか？
私は自分のWebサイトをAzureでホストしており、最近、ポート番号によってWebファームの各サーバーインスタンスに直接アクセスできるようにする機能をアクティブにしました。たとえば、http://example.com:10015およびhttp://example.com:10016です。
Googleでコンテンツが重複していることに少し神経質です。GoogleがこれらのURLを何らかの方法で検出し、インデックスを作成し始めるのは望ましくありません。最近、Azureのデフォルトのcloudapp.netドメインでこの問題が発生しましたが、このドメインの301とrobots.txtの両方を追加して、このドメインのボットを禁止しています。
robots.txtリライトルールを異なるポート sにも使用したかったのですが、何らかの理由で機能しないようです。 Azureの処理に関係するかどうかはわかりませんが、たとえば、ポートSERVER_PORTに移動しても、80変数はポート10015を返します。
とにかく、Googleウェブマスターツールでポート仕様を使用してサイトを追加しようとしていましたが、うまくいきませんでした。したがって、基本的に私の質問は、これについてまったく心配する必要がある場合、Googleは異なるポートを異なるサイトとして扱うことさえありますか？
Googleは異なるポートを異なるサイトとして扱いますか？
はい。 Googleは、非標準ポートを使用してURLのインデックスを作成できます。これは、GoogleのMatt Cuttsによって中継された here であり、この回答に対するコメントで確認されました here GoogleのJohnミューラー：Yep, we can index sites on IP addresses and/or on non-standard ports。
Googleでコンテンツが重複していることに少々神経質です
これらの異なるURLが同じコンテンツを返す場合、 canonical link を使用して、インデックスに コンテンツの優先URL を指定できます。 Googleがそこに示したように：
To address these issues, we recommend you define a canonical URL for content (or equivalent content) available through multiple URLs.