我正在尝试使用和服来抓取亚马逊结果页面。例如，我在 Amazon.co.uk 搜索引擎上键入“Sony”，并希望从搜索结果中获取产品名称。我可以为一页做到这一点，但我想使用分页功能抓取多个页面。到目前为止，我无法让分页工作。我选择“下一页”作为分页链接，但随后出现 E20 错误。
有人知道我在做什么错吗？难道是亚马逊页面的结构阻止了分页功能的使用？
谢谢！弗洛
问问题
210 次
1 回答
0
有人知道我在做什么错吗？
似乎您遇到过商业目录的棘手案例。它几乎总是防刮墙/倾斜。拥有数十亿件商品的亚马逊肯定会为数据盗窃设置高墙，而像和服刮刀这样轻巧的抓取工具（99.99%）肯定会绊倒它。请参阅有关抓取业务目录的提示和技巧。
引用
这类网站特别警惕使用反抓取措施来避免数据泄露。所以要为意外的坑洼和牢不可破的防火墙做好准备......
我的建议是您选择任何现成的抓取软件，将代理服务插入其中并继续抓取。
于 2015-11-30T12:00:16.673 回答