web-dev-qa-db-ja.com

IP経由でWebサイトのクロールを停止するようにGoogleに指示する方法は?

データベースサーバーの移行後、サイトをクロールしようとすると、GoogleBotでエラーが発生し始めたことがわかりました。

理由は、IPアドレスを介して私のサイトにアクセスしているようです(私の設定により、PHPスクリプトはシャットダウンされた古いデータベースサーバーにアクセスしようとします)。正しいホスト名でサイトにアクセスすると、新しいDBサーバーが使用されます。

これを修正するには、「IPアドレス」設定を指定して新しいDBサーバーを使用しますが、理想的には、GoogleBot(およびBing)にIP経由のアクセスを停止し、代わりにホスト名を使用するように指示します。

Googleウェブマスターツールには、ウェブサイトに「リンクしているサイト」のエントリも多数表示されます。これらのエントリは、実際には別のサイトであるかのようにサイトのIPアドレスとしてリストされます。

間違った動きをしてSEOの価値を失いたくありません。

IPアドレスで応答しなくなるようにWebサイトを変更する必要がありますか?または、IP address/url-> hostname/urlからのHTTPリダイレクトを設定しますか?

私はすでに多くのページにFQDNを含む「rel canonical」URLを持っていますが、Googleはそれらを尊重していないようです。または、少なくともそれらのページのIPアドレスにアクセスし続けています。

2
carpii

あなたがあなた自身の質問をし、答えたように見えます。

一般的な提案のようです301リダイレクトのセットアップ、httpサーバーがIPリクエストに応答しないようにする、 "rel canonical" URLをセットアップする、またはno followを配置しようとする古いデータベースへのリンク。 (最初にスクリプトから古いdbリンクを削除しようとすると思いますが、とにかく...)

2
HopelessN00b