0

我计划在生成内容页面的网站上上传 sitemap.xml。截至目前,如果我尝试使用 HTTrack 等工具复制整个网站,则无法复制。

现在,如果我想让搜索机器人在这个网站上查找和索引内容页面,我必须在 sitemap.xml 文件中包含所有 url。

所以问题是 - 这样的 sitemap.xml 会暴露所有 url 从而“促进”网站的完整副本吗?

对此的投入将不胜感激。

4

1 回答 1

1

从技术上讲,是的。

但我想您真正需要问的问题是“我在乎吗”
如果答案是肯定的,您是否应该首先考虑是否应该将其发布到网络上?

一个结构良好的IA无论如何都会包含每个页面之间的链接(出于导航和 SEO 的原因),因此 HTTrack 之类的工具无论如何都可以复制该站点。

任何您不想被 HTTrack 看到的东西也需要对普通网络用户不可见 - 即受密码保护或不存在。

于 2012-12-21T11:29:57.943 回答