php - php cURL 是否会耗尽 RAM 或处理器电源？

Question

我目前有一个使用 PHP cURL 每分钟同时下载数百页的爬虫脚本。

我进行了设置，以便有一个主服务器和几个远程服务器使用PHP cURL下载页面并使用远程 MYSQL 连接将数据发送回（然后将数据保存在主服务器中）。

我正在尝试优化和降低这些服务器的成本；那么我应该水平缩放还是垂直缩放？我应该寻找更多的 RAM 或处理器能力吗？

任何帮助表示赞赏。

Answer 1

您应该添加网络电源。RAM 只需要承载正在运行的进程，CPU 只需要触发网络连接。

请注意，网站不喜欢被请求淹没。这通常被认为是一种攻击，他们可能会阻止你。因此，请谨慎行事，做一个好的网民，不要尽你所能。一个好的蜘蛛概念会询问尽可能多的不同主机，但对每个单独的主机只使用一个或两个请求。