Webクローラー/スパイダーはAzure Webサイトをインデックス化しますか？
自分のWebサイトを可能な限り発見できるようにしたい人（そうでない人はいますか）にとって、MicrosoftのAzure Webサイト（azurewebsites.net）は、ホストサイトに適したドメインですか？
私はazurewebsites.netの両方にあるサイトを持っていますおよび discountasp.netによって完全に異なる名前でホストされています
これらのサイトはどちらも、URLを除いてまったく同じです。コードを更新するたびに、サイトを両方の場所に再公開します。そのため、両者は同じH1およびH2エレメントを持っています。
H1タグの値/コンテンツを検索すると、.comサイトがGoogleで3番目、BingとYahooの両方で2番目にリストされています。 OTOH、私のazurewebsites.netサイトは、いずれのページでも最初のページにまったく表示されません。
これは、azurewebsites.netがWeb APIホスティングなどにのみ使用されるべきであり、ジェネリック/商用の「パブリック」サイトには使用されないのではないかと思います。私の結論は有効ですか？
それで、あなたのウェブサイトはまったく同じですか？同じコンテンツ、同じHTML？そして唯一の違いはドメインとホスティングですか？
スパイダーは、公開されている限りすべてのWebサイトをクロールします。robots.txtまたはメタタグ内のルールは、サイトにアクセスしないように明示的に指示しません。
あなたの問題は、Googlebotの目には、コンテンツの複製が原因であり、あなたのサイトの1つが別のサイトからコンテンツをコピーしており、それが気に入らず、そのコンテンツを最初に公開したと思われるサイトにクレジットを与えますが、権限を考慮します、ランキング、長寿、それは無視されるか、コンテンツを複製しているサイトを罰することさえあります。
Googleウェブマスターツールから help ：
Googleは、明確な情報を含むページのインデックス作成と表示に努めています。たとえば、このフィルタリングは、サイトに各記事の「通常」バージョンと「プリンター」バージョンがあり、これらのいずれもnoindexメタタグでブロックされていない場合、リストからそれらのいずれかを選択します。重複したコンテンツがランキングを操作してユーザーを欺く意図で表示される可能性があるとGoogleが認識するまれなケースでは、関連するサイトのインデックス作成とランキングを適切に調整します。その結果、サイトのランキングが低下したり、サイトがGoogleインデックスから完全に削除されたりする可能性があります。その場合、サイトは検索結果に表示されなくなります。