在 robots.txt 文件中，我将禁止我网站的某些部分。
例如，我不希望我的“条款和条件”被搜索引擎索引。
User-agent: *
Disallow: /terms
文件的真实路径实际上是
/data/terms_and_conditions.html
但我使用 .htaccess 重写了 URL。
现在问我的问题，我应该在 robots.txt 中指定重写的 url 还是实际的 url？
后续问题：我是否也需要有一个“允许”行，还是搜索引擎会假设所有其他不在 robots.txt 文件中的都是允许的？
谢谢