python - 任何用于并行和分布式任务的 python 库？

Question

我正在寻找一个可以跨几个服务器分发任务的 Python 库。subprocess该任务类似于库在单台机器上可以并行化的任务。

我知道我可以为此目的设置一个 Hadoop 系统。然而 Hadoop 是重量级的。就我而言，我想使用共享网络磁盘进行数据 I/O，我不需要任何花哨的故障恢复。在 MapReduce 的术语中，我只需要映射器，不需要聚合器或缩减器。

Python中有这样的库吗？谢谢！

Answer 1

尝试使用芹菜。

Celery 是一个基于分布式消息传递的异步任务队列/作业队列。它专注于实时操作，但也支持调度。

执行单元称为任务，使用多处理、Eventlet 或 gevent 在单个或多个工作服务器上并发执行。任务可以异步执行（在后台）或同步执行（等到准备好）。