web-dev-qa-db-ja.com

これは正しいrobots.txtファイルですか？

GooglebotとMediapartners-Google（AdSenseユーザーエージェント）がウェブサイトをクロールできるようにします。そのため、robots.txtファイル内に以下のコードを書きました。

User-agent: Googlebot
Disallow:  

User-agent: Mediapartners-Google
Disallow:  

Sitemap: http://website.com/sitemap.xml

上記のrobots.txtファイルは正しく書き込まれていますか？はい、もしくは、いいえ ？

seogoogle-searchgoogle-adsenserobots.txtgooglebot
1
ashutosh

Robots.txtは、Googlebotのような特定のクローラーを許可する場合、一部のWebクローラーをブロックすることを許可します（許可しない）。 robots.txt（Mediapartners-Googleでも同じ）。

robots.txt of Pro Webmasters をご覧ください。

これらの2つのWebクローラーをブロックしたくない場合、および他のWebクローラーに集中したくない場合、robots.txtはこの：

User-agent: *
Allow: /

Sitemap: http://example.com/sitemap.xml
1
Zistoloen