3

我最近对包含 url 结构的电子商务网站进行了一些重大更改。查看产品的 url 由 .htaccess 修改,并包含一个简短的产品描述,如果更改不会影响页面上的结果。

例子:www.Example.com/staticFolder/non-deterministic-product-details/MODEL#.html

现在在错误日志文件中,我看到 bingbot 请求页面,例如example.com/non-deterministic-product-details

我们的站点地图未链接到此页面,我无法在页面上找到任何错误链接。有没有其他人在使用 bingbot 时遇到过问题?我发现了另一个因随机而被锁定的问题。Bingbot 导致 404 错误。我做错事的可能性更大吗?我应该避免在我的 .htaccess 中使用伪目录吗?

-谢谢

4

1 回答 1

1

没有什么要求蜘蛛只坚持链接爬行。它完全有可能猜测与已知 URL 相似的 URL,希望它能找到一些东西。

无论如何,除非您知道它的链接不正确,否则我不会担心。收到大量对不存在页面的请求是很正常的。

于 2013-11-11T15:44:32.810 回答