web-dev-qa-db-ja.com

古いファイルがサイト全体をブロックするため、Googleから古いrobots.txtを削除する方法

Googleウェブマスターツールに古いrobots.txtを表示するウェブサイトがあります。

User-agent: *
Disallow: /

Googlebotをブロックしています。古いファイルを削除し、新しいrobots.txtファイルをほぼフルアクセスで更新し、昨日アップロードしましたが、robots.txtの古いバージョンが引き続き表示されます

User-agent: *
Disallow: /flipbook/
Disallow: /SliderImage/
Disallow: /UserControls/
Disallow: /Scripts/
Disallow: /PDF/
Disallow: /dropdown/

Googleウェブマスターツールを使用してこのファイルを削除するリクエストを送信しましたが、リクエストは拒否されました

Googleキャッシュからそれをクリアし、Googleにrobots.txtファイルの最新バージョンを読み取らせる方法を教えていただければ幸いです。

search-enginesgoogle-search-consolerobots.txt
5
Learning

これはGoogle Webmaster Developersサイトから https://developers.google.com/webmasters/control-crawl-index/docs/faq

Robots.txtファイルの変更が検索結果に影響するまでにどのくらい時間がかかりますか？

まず、robots.txtファイルのキャッシュを更新する必要があります（通常、コンテンツは最大1日間キャッシュされます）。変更を見つけた後でも、クロールとインデックス作成は複雑なプロセスであり、個々のURLに時間がかかることがあるため、正確なタイムラインを提供することはできません。また、robots.txtファイルがURLへのアクセスを禁止している場合でも、クロールできないにもかかわらず、そのURLは検索結果に表示されたままになる可能性があることに注意してください。 Googleからブロックしたページの削除を迅速に行う場合は、Googleウェブマスターツールから削除リクエストを送信してください。

また、Googleのrobots.txtの仕様もあります https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

ファイルの構文が正しい場合、最良の答えは、Googleが新しいロボットファイルを更新するまで待つことです。

3
Anagio

最初に行うことは、新しいrobots.txtファイルを正しくアップロードしたことを確認することです。

ブラウザからwww.yourwebsite.com/robots.txtにアクセスして確認してください。

0
RRikesh

通常、Googleはrobots.txtファイルへの変更を定期的にチェックします。

Googleウェブマスターツールアカウントに登録すると、Googleが最後にrobots.txtファイルをチェックした時間など、詳細情報を確認できます。

編集： robots.txtファイルの削除もリクエストできません。 URL削除ツールは、検索インデックスからページを削除するためのものです。

新しいファイルが正しくアップロードされたことを確認しましたか？ファイルをサーバーにFTPで送信しようとしたことがありますが、オンラインで確認したときに変更が反映されていませんでした。ホスティングコントロールパネルにログインしてファイルを表示したとき、それはまだ古いファイルでした。どうやら、ファイルはエラーを表示していませんでしたが、FTPクライアントによって適切に転送されなかったようです。

そのため、最初に行うことは、ファイルがブラウザにあるrobots.txtファイルに正しくアップロードされ、そこに何があるかを確認することです。

ファイルが正しくアップロードされ、ブラウザで新しいファイルを表示できる場合、ファイルはどこか他の場所にキャッシュされています。一部のCDNは静的ファイルをキャッシュするため、CDNを使用している場合はこれが原因である可能性があります。

0
Sherwin Flight