php - PHP cURL vs Python Scrapy？

Question

尽管我在 PHP cURL 方面有丰富的经验，但我一直在使用 Python Scrapy 抓取网站数据。我不知道哪个更适合抓取数据和操作返回值以及速度和内存使用情况。

Python Scrapy 中的 (yield) 函数应该做什么？

Answer 1

Scrapy 是一个框架。您可以定义抓取 URL 的管道和系统方法；cURL 只是样板代码，用于通过 HTTP 等协议查询页面或下载文件。

如果您正在构建一个广泛的抓取系统或项目，Scrapy 可能是一个更好的选择。否则对于 hacky 或一次性的事情，cURL 很难被击败（或者如果你受限于 PHP）。