Rails robots.txtフォルダー
Railsアプリを起動しようとしていますが、最後のタスクとして、robots.txtファイルを設定しません。パスを正しく書き込む方法に関する情報が見つかりませんでした。 Railsアプリの場合。
開始パスは常にRails appまたはappフォルダーからのルートパスですか？次に、imgフォルダーなどを禁止するにはどうすればよいですか？
アプリフォルダに表示されているとおりにパスを書き込む必要がありますか、それともオンラインサイトでパスがどのように表示されるかを確認する必要がありますか？ http://example.com/admin ？
robots.txtを/publicフォルダーに配置する必要があります
以下のようになります
次の例の「/robots.txt」ファイルは、ロボットが"/cyberworld/map/"または"/tmp/"、または/foo.htmlで始まるURLにアクセスしてはならないことを指定しています。
# robots.txt for http://www.example.com/
User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear
Disallow: /foo.html
詳細については、以下のリンクをたどってください
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
そして