我正在尝试从亚马逊提取价格和供应商等信息。
我现在这样做的方法是找到价格等关键词,然后找到我想要的信息。
问题是如果像亚马逊这样的网站稍微改变他们的框架,代码可能不再工作了。
我想知道是否有更好的方法/算法做类似的事情。
谢谢!
您想从网站访问数据。您建议的是手工制作的 API 或应用程序编程接口。
手工制作的 API 的主要缺陷之一正是您提到的,或者网页的供应商可能会进行一些小的更改,从而使您的 API 无法使用。
通常,最好使用可以直接访问网站所有者数据的 API。这些 API 是由网站所有者自己创建的,因此他们可以直接访问数据,并且可以绕过在您使用 HTML 抓取时出现在您和您想要的数据之间的所有混乱格式。
具体来说,亚马逊的价格 API 位于此处。
重要的:
如此处所述,请阅读许可协议第 4b 节:
(b) 您将仅 (i) 以合法方式使用产品广告内容;(ii) 根据本许可协议的条款并在第 6 条授予的许可的明确范围内;(iii) 将最终用户发送到亚马逊网站并推动其销售。您不得将产品广告 API、数据馈送或产品广告内容用于任何网站或应用程序,或以任何其他方式,其主要目的不是为亚马逊网站做广告和营销以及推动产品和服务的销售亚马逊网站。