web-dev-qa-db-ja.com

このサイトをリクエストすると、Yandexインデックスロボットがリダイレクトされるため、robots.txtファイルは使用されません。修正は何ですか？

www.example.comにリダイレクトするWebサイトhttps://www.example.comがあります。

したがって、www.example.com/robots.txtと入力すると、https://www.example.com/robots.txtにリダイレクトされます。

別の注意点：Yandexのメインミラーはクローラーによって決定されます。メインミラーとしてwww.example.comまたはhttps://www.example.comを設定することはできません。

注意してください：私が得ているこのエラー

The Yandex index robot is redirected when requesting this site so the robots.txt file will not be usedはこのページのものです。 https://webmaster.yandex.com/robots.xml

更新：

回答後、Robots.txtを次のように更新しました。

    User-agent: Yandex
    Sitemap: https://www.example.com/sitemap.xml
    Disallow: /some_pages/
    Host: https://www.example.com

    User-agent: *
    Sitemap: https://www.example.com/sitemap.xml
    Disallow: /some_pages/
redirectshttpssitemaprobots.txtyandex
1
CP3O

Yandexでメインミラーを設定できます。次のようなものが必要だと思います。

Host: myhost.ru # uses

User-agent: *
Disallow: /cgi-bin

User-agent: Yandex
Disallow: /cgi-bin
Host: www.myhost.ru # is not used

あるいは：

# domen.myhost.com is the main mirror
# www.domen.myhost.com, is the correct use of 
# the Host Host directive:User-Agent: *
Disallow:Host: domen.myhost.com

Hostディレクティブには以下を含める必要があります。

An HTTPS protocol indication if the mirror is only available via a protected channel (Host: https://myhost.com).

One concrete domain name that corresponds to RFC 952 and is not an IP-address.

The port number, if necessary (Host: myhost.com:8080).

詳細： https://yandex.com/support/webmaster/controlling-robot/robots-txt.xml

1
knif3r