web-dev-qa-db-ja.com

Google Search Consoleでサイトマップを送信中にrobots.txtの警告によってブロックされたURL

Google Webmastersでサイトマップを送信していたときに、「サイトマップのテスト」ボタンをクリックすると次のメッセージが表示されました。

-警告-robots.txtによってURLがブロックされました。

robots.txtファイルを見つけたとき、これはrobots.txtファイルで見たものです。

# BEGIN GENESIS SEO
User-Agent: *
Disallow: /category 
Disallow: /tag 
Disallow: /author 
Disallow: /?s=*

# END GENESIS SEO

誰がこれの意味が何であり、どのように修正する必要があるか知っていますか？

google-search-consolerobots.txt
1
Saima Zaidi

Robots.txtは、サイトのどの部分を無視するか（および他の部分は公正なゲームである）を検索エンジンに伝えます。 sitemap.xmlは、サイトの最も重要な部分であると思われるもの、およびインデックスにそれらを含めることを検索エンジンに伝えます。

サイトマップに、ロボットファイルで許可されていないURLが含まれている場合、許可されていないもののインデックスを作成するように要求したため、その警告が表示されます。

サイトマップの内容に関係なく、GooglebotとBingbotは、ロボットファイルでブロックされている場合、インデックスを作成しません。

両者を同等にするには、ブロックされたURLをサイトマップから削除してから再送信するか、それらのURLのブロックをロボットファイルから削除します。どの道を取るかはあなた次第で、あなたのウェブサイトとその目的に依存します。

3
Henry Visotski

Robots.txtファイルでタグ、カテゴリなどのページをブロックすることは悪い習慣です。ほとんどの場合、これらのページはリンクとしてWebサイトでアクセスできます。これらのすべてのページに代わりにMeta Robotsタグを使用し、sitemap.xmlから除外します

サイトマップに対するGoogle警告を回避し、Googleからsitemap.xmlファイルに「尊敬」を得るには、少なくともsitemap.xmlからタグ、カテゴリなどのページを削除します。 sitemap.xmlでは、robots.txtでブロックされたページは使用できません。

1
gintsg

これは、ユーザー（つまり、ボット）がアクセスできるリンクがブロックされていることを意味します。

どのrobot.txtエントリがこれを引き起こしているのかを見つけるには、一度に1つのエントリを試し（複数のエントリがこの問題を引き起こしている可能性があるため）、サイトマップを再度テストします。

最良の推測は、/ categoryまたは/ tagsリンクのいずれかが不必要にブロックされていることです。

1
garth