我有大量的 cURL 请求要处理。我发现有几个库可以帮助并行处理它们,主要的是 RollingCurl ( http://code.google.com/p/rolling-curl/ ) 和 Parallel Curl ( https://github.com/皮特沃登/平行卷曲)。
有没有人有使用这些库的经验,如果有,你知道哪个表现更好吗?
谢谢!
更新:对于以后可能偶然发现的任何人,如果您使用 Rolling Curl 的组功能,它在处理大量请求时似乎会中断(50k+)
我有大量的 cURL 请求要处理。我发现有几个库可以帮助并行处理它们,主要的是 RollingCurl ( http://code.google.com/p/rolling-curl/ ) 和 Parallel Curl ( https://github.com/皮特沃登/平行卷曲)。
有没有人有使用这些库的经验,如果有,你知道哪个表现更好吗?
谢谢!
更新:对于以后可能偶然发现的任何人,如果您使用 Rolling Curl 的组功能,它在处理大量请求时似乎会中断(50k+)