GoogleはDrupalメンテナンスモードのサイトをクロールしますか？
私はAegirを使用して、自分のサイトのコピーをサブドメイン名（test.mydomain.comなど）で複製しています。これらのコピーは、スパマーや詮索好きな目を遠ざけるためにメンテナンスモードになっています。次に、これらのコピーを使用して、メインサイトmydomain.comへの変更をコミットする前に、テストと開発作業を実行します。
しかし、私はこれらのクローンされたサイトの存在によって私のSEOを傷つけていますか？メンテナンスモードになっているサイトをGoogleがクロールしますか？非常に多くの行き止まりのサブドメインがあると、ペナルティを課しますか？
Drupalサイトをメンテナンスモードにすると、管理者以外のユーザーが標準のメンテナンスモードのページを表示します（そうするとキャッシュがクリアされた場合）。応答を調べると、 RFC 2616 からのHTTPステータスコード503で返されます。
503サービスを利用できません
サーバーの一時的な過負荷またはメンテナンスのため、サーバーは現在リクエストを処理できません。これは、これが一時的な状態であり、少し遅れて緩和されることを意味します。既知の場合、遅延の長さはRetry-Afterヘッダーに示される場合があります。 Retry-Afterが指定されていない場合、クライアントは500応答の場合と同様に応答を処理する必要があります（SHOULD）。
そして 公式Googleウェブマスターブログ から：
メンテナンスのためにサイトがダウンしている場合、「メンテナンスのためのダウン」ページにインデックスを付けるのではなく、後で戻るようにGooglebotに指示するにはどうすればよいですか？
200（成功）ではなく503（ネットワーク使用不可）のステータスを返すようにサーバーを構成する必要があります。これにより、Googlebotは後でページをもう一度試すことができます。
つまり、Drupalが正しいことを行い、次に5XX以外のステータスコードが返されたときにGoogleがサイトとインデックスページに再度アクセスすることを示しています。
それを許可するために何か特別なことをしない限り、Googleはメンテナンスモードでサイトをクロールできません。
表示するにはログインする必要があるため、googlebotには指定されたメンテナンスページが表示されます。
Googleからの追加のガイドラインについては、次のリンクを参照してください。
- ウェブマスター向けガイドライン： https://support.google.com/webmasters/answer/35769?hl=ja
- SEOガイドライン（複数ページのPDF）： http://www.google.com/webmasters/docs/search-engine-optimization-starter-guide.pdf
- SEOガイドライン（1ページのPDF）： https://storage.googleapis.com/support-kms-prod/SNP_3027140_en_v
あなたの懸念：
メンテナンスモードが「ブロックしたいものすべて」を100％（！）でブロックしているかどうかがわからない場合は、同時に「googleのようなユーザーが引き続きアクセスできるか」について非常に懸念しています。 ...メンテナンスモードは、最初の場所で開発サイトをブロックするための悪い選択かもしれません。
勧告：
個人的には、開発サイトに。htpasswdを追加することをお勧めします。
Aegirデプロイメント内でも自動化は簡単です。ブラウザーとすべてのコマンドラインツールがスキップできるので、邪魔になることはありません。あなたは他の人を入れることができます。それはグーグルなどに完全に100％サイトをブロックします。