我已经实现了如下的分页
http://myhost.com/product-2/213-1
这意味着共有 213 个产品,这是第一页。当我检查 Google 在我的网站中抓取了哪些页面时,我看到的结果如下
http://myhost.com/product-2/213-1-2/144-0/144-1/144-14/125-1/125-12/125-1/151-15/108-10/131-1/134-13/140-14/140-1/118-11/126-1/126-12/110-1/270-27/270-1/270-27
这意味着谷歌以某种方式将所有页码附加到 URL 的末尾并抓取该 URL。有人可以给我一个解决方案来阻止这种情况吗?对于这种特殊情况,我希望 Google 只抓取一个包含所有产品信息的页面。