web-scraping - 自动解析网站

Question

我有个想法，想看看能不能实现。我想解析一个网站（copart.com），该网站每天显示不同的大型汽车列表以及每辆车的相应描述。每天，我的任务是检查每个列表（每个列表包含数百辆汽车）并选择满足特定要求（品牌、年份等）的每辆汽车。我想知道是否可以创建一个工具来自动解析这些列表，然后选择符合我标准的汽车。我在考虑类似 ParseHub 之类的网站抓取工具，但我并没有尝试提取数据。我只是想要一个可以浏览网站并自动单击每辆符合我标准的汽车上的“选择”按钮的工具。这将每天为我节省大量时间。谢谢。

Answer 1

Scrapy是为此设计的一个很好的工具。根据网页的呈现方式，您可能需要也可能不需要像 Selenium 这样的附加工具。提交或“选择”按钮通常只是可以使用 HTML 请求跟踪的链接，无需额外的浏览器模拟工具。如果您可以发布一些示例 HTML，我们可以为您提供更多细节。

Answer 2

我认为你可以使用硒来完成这项任务。它会自动打开 Web 浏览器，您可以使用 xPath 定位元素并单击选择按钮。我以前为一些家庭公用事业网站这样做过。