web-dev-qa-db-ja.com

GoogleBotが404ファイルが存在しないことを忘れられないのはなぜですか？

2か月間、googlebotはもう存在しないファイルを取得しようとしています。これは多くの例の1つに過ぎません。ファイルの名前をより適切な名前に変更し、古いファイルを削除しました。さて、なぜGoogleは数か月間存在しないファイルを取得しようとするのでしょうか？あきらめて幸せなボットになりませんか？

私のエラーログファイルには、その1つのファイルを取得しようとするこれらの繰り返し行がいっぱいです。

  1. これらの状況で何をすべきか？
  2. 301経由でホームページに処理する自動リダイレクトルールはありますか？

私のエラーログ：

[Sat Mar 05 01:55:41 2011] [error] [client 66.249.66.177] File does not exist: 
/var/www/vhosts/website.org/httpdocs/extraNeus.php 

[Sat Mar 05 01:58:20 2011] [error] [client 66.249.66.177] File does not exist: 
/var/www/vhosts/website.org/httpdocs/extraNeus.php

[Sat Mar 05 02:03:57 2011] [error] [client 66.249.66.177] File does not exist: 
/var/www/vhosts/website.org/httpdocs/extraNeus.php

どんどん…そして….

googleredirects404error
4
Sam

Googlebotがまだページにアクセスしようとしているのは、おそらくどこかへのリンクがあるからです。 Googleがリンクを見つけると、そのページで以前に404が表示されたかどうかを確認せずにリンクをたどります。したがって、このページがヒットし続ける場合は、おそらくリンクが原因です。

私はCrayon Violetに同意し、古いページから新しいページへの301リダイレクトを含めることをお勧めします。

1
lovefaithswing

これを.htaccessファイルに配置します（path/to/filesをファイルの場所に変更します）

Redirect 301 /extraNeus.php http://www.yoursite.com/new_page.php

永久にそのままにしておくことも、次回Googleがページをインデックスに登録するときに削除することもできます。

4
Crayon Violent

永続的なリダイレクトを使用して、GoogleBotなどにページの移動先を通知する必要があります。

ページがまったく存在しない場合は、robots.txtにエントリを追加して、ボットが見つからないページにアクセスしないように指示できます。

User-agent: *     
Disallow: /extraNeus.php
4
Ewan Heming