我正在寻找一个可以跨几个服务器分发任务的 Python 库。subprocess该任务类似于库在单台机器上可以并行化的任务。
我知道我可以为此目的设置一个 Hadoop 系统。然而 Hadoop 是重量级的。就我而言，我想使用共享网络磁盘进行数据 I/O，我不需要任何花哨的故障恢复。在 MapReduce 的术语中，我只需要映射器，不需要聚合器或缩减器。
Python中有这样的库吗？谢谢！
问问题
184 次
1 回答
3
尝试使用芹菜。
Celery 是一个基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作，但也支持调度。
执行单元称为任务，使用多处理、Eventlet 或 gevent 在单个或多个工作服务器上并发执行。任务可以异步执行（在后台）或同步执行（等到准备好）。
于 2013-07-21T16:16:40.287 回答