ruby-on-rails - Rails robots.txt 文件夹

Question

我即将启动 Rails 应用程序，作为最后一项任务，我不想设置 robots.txt 文件。我找不到有关如何为 Rails 应用程序正确编写路径的信息。

起始路径是否始终是 Rails 应用程序或应用程序文件夹的根路径？那么我将如何禁止例如 img 文件夹？

我是否必须写下我在 app 文件夹中看到的路径，或者像在线网站上的路径一样，例如http://example.com/admin？

Answer 1

你必须把你robots.txt的/public文件夹

它看起来像下面

以下示例“/robots.txt”文件指定任何机器人都不应访问任何以"/cyberworld/map/"or"/tmp/"或开头的 URL /foo.html：

# robots.txt for http://www.example.com/

User-agent: *
Disallow: /cyberworld/map/ # This is an infinite virtual URL space
Disallow: /tmp/ # these will soon disappear
Disallow: /foo.html

欲了解更多信息，请点击以下链接

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

和

http://www.robotstxt.org/robotstxt.html