error-handling - Scrape Offer 不返回任何结果

Question

我在数据库中研究了这个问题，搜索了问题，发现了两个不同的错误。我已经确定 503 错误是亚马逊阻止了我，但我得到了一个不同的错误，它与同一行相同，但没有 503 返回。我无法破译其中的区别。有谁能帮忙吗？下面列出了我遇到的错误。我使用的 html 解析器是 HTML Agility Pack 和 Just Agile

http://www.amazon.com/gp/offer-listing/1902915208错误远程服务器返回错误：（503）服务器不可用。

和

Scrape Offer 没有返回任何结果。

错误不一致，因此不容易捕获。错误在下一个废料中返回。这是非常随机的，并且不会始终如一地发生在相同的产品上。我每天都会收到很多这样的东西，这使我无法更新价格并向客户提供正确的信息。

Answer 1

所以我发现，问题是发送到亚马逊的用户代理。我在我的 CURL 选项中添加了以下命令，它现在可以工作了——即使没有 US-Proxy。

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');

Answer 2

我在每 20 个网页请求之间放置 1 秒睡眠。这解决了我的问题。