我的网站有大约 200 篇有用的文章。由于该网站具有包含大量参数的内部搜索功能,因此搜索引擎最终会使用附加参数(如标签、搜索短语、版本、日期等)的所有可能排列来抓取网址。这些页面中的大多数只是搜索结果列表带有一些原始文章的片段。
根据谷歌的网站管理员工具,谷歌只抓取了 xml 站点地图中 200 个条目中的大约 150 个。看起来谷歌在上线几年后还没有看到所有的内容。
我计划在 robots.txt 中添加一些“Disallow:”行,以便搜索引擎不再抓取那些动态网址。此外,我计划在网站管理员工具“网站配置”->“url 参数”部分禁用一些 url 参数。
这会改善还是损害我目前的 SEO 排名?看起来好像我的网站正在丢失数千个内容页面。