robots.txt - 阻止搜索引擎索引本地搜索结果而不是搜索页面

Question

Bingbot 一直在索引搜索引擎结果页面，所以我想：

• 允许搜索引擎访问所有内容。
• 允许搜索引擎索引search/url。
• 仅禁止搜索查询 ( search/?q=example ) 而不会阻止search/ URL 本身。

关于我的三个既定目标，以下代码是否有任何冲突？

User-Agent: *
Allow: /
Disallow: /search/?

Answer 1

使用搜索页面的 URL 在搜索页面上设置规范链接。然后给谷歌一些时间来清理混乱（如果有很多页面或访问量低的页面来覆盖所有内容，最多需要 6 个月）。所有带有查询参数的索引页面将在搜索页面下重新组合，并逐渐从排名中删除。