python - 从 python Django 的角度来看，机器人与爬虫有什么不同

Question

实际上，我对术语感到困惑。我正在研究scrapy，我认为它用于抓取网站并提取一些数据。

但我想制作一些类似于实际用户的python程序。我的意思是自动化任务。

例如，访问 www.myblah.com，然后在某个类别中获得最便宜的产品，如果低于我的预设金额，请给我发送电子邮件。

现在我不知道这些类型的东西是爬行还是其他。

我可以在scrapy中做到这一点，或者我们有其他库来完成这些任务。

Answer 1

Scrapy是可用于创建机器人或爬虫（又名蜘蛛）的框架。爬虫是特定类型的机器人，但机器人不一定是爬虫。爬虫的定义是旨在探索页面（节点）及其嵌入的 URL（边缘）的图形，尽管它们可能会被限制跟踪特定的 URL。

自动化任务是机器人的工作。Scrapy 是否会为此工作将取决于需要哪些信息以及如何采取行动。如今，许多网站都大量使用 javascript，因此如果机器人无法执行 javascript 并正确提供 cookie，它可能无法获取信息来完成任务。一些网络自动化任务可能需要浏览器插件，甚至可能需要 GUI 自动化工具。