在 robots.txt 文件中,我将禁止我网站的某些部分。
例如,我不希望我的“条款和条件”被搜索引擎索引。
User-agent: *
Disallow: /terms
文件的真实路径实际上是
/data/terms_and_conditions.html
但我使用 .htaccess 重写了 URL。
现在问我的问题,我应该在 robots.txt 中指定重写的 url 还是实际的 url?
后续问题:我是否也需要有一个“允许”行,还是搜索引擎会假设所有其他不在 robots.txt 文件中的都是允许的?
谢谢