我计划在生成内容页面的网站上上传 sitemap.xml。截至目前,如果我尝试使用 HTTrack 等工具复制整个网站,则无法复制。
现在,如果我想让搜索机器人在这个网站上查找和索引内容页面,我必须在 sitemap.xml 文件中包含所有 url。
所以问题是 - 这样的 sitemap.xml 会暴露所有 url 从而“促进”网站的完整副本吗?
对此的投入将不胜感激。
从技术上讲,是的。
但我想您真正需要问的问题是“我在乎吗”
如果答案是肯定的,您是否应该首先考虑是否应该将其发布到网络上?
一个结构良好的IA无论如何都会包含每个页面之间的链接(出于导航和 SEO 的原因),因此 HTTrack 之类的工具无论如何都可以复制该站点。
任何您不想被 HTTrack 看到的东西也需要对普通网络用户不可见 - 即受密码保护或不存在。