html - 如何解决搜索引擎的重复内容？

Question

我有 2 个网站：Site1.com 和 Site2.com。

Site1.com 有 2 个页面：a.htm 和 b.htm。Site2.com 有 3 个页面：a.htm、b.htm 和 c.htm。

页面 a.htm 和 b.htm 在 2 个站点是重复的。

我希望搜索引擎从 Site1 索引 a.htm 和 b.htm，从 Site2 索引 c.htm。我如何以及在哪里指定此首选项？如果可能的话，我宁愿不必在页面级别指定我的偏好（意味着必须编辑每个页面）。

谢谢。

Answer 1

你不能直接 - 没有搜索引擎提供那种“填写此表格”类型的控制。

你的两个选择：

1) 使用 robots.txt 告诉爬虫不要索引站点 1 上的页面
2) 使用 301“永久移动”重定向来告诉爬虫去查看站点 2 而不是站点 1。

Answer 2

在每台服务器的根目录上创建一个robots.txt文件，指定应索引哪些页面。

例如，在站点 2：

User-agent: *
Disallow: /a.htm
Disallow: /b.htm