你知道/使用任何用于 python 的分布式作业队列吗?你能分享链接或工具吗
9 回答
Pyres 是一个用 python 构建的 resque 克隆。Github 使用 Resque 作为他们的消息队列。两者都使用 Redis 作为队列后端,并提供基于 Web 的监控应用程序。
除了多处理之外,如果您使用的是 Django,还有Celery项目。
还有 Sylvain Hellegouarch 的“bucker”,你可以在这里找到:
它是这样描述自己的:
- bucker 是一个队列系统,它支持队列的多个存储(memcached,目前是 Amazon SQS),并由通过客户端和队列服务器之间的 TCP 连接发送的 XML 消息驱动。
红队?它在 python+tornado 框架中实现,使用 memcached 协议,并且可以选择持久化到日志文件中。目前它也可以表现得像 beanstalkd,memcache 协议中的保留/删除方式。
如果你认为 Celery 对你的需求来说太重了,那么你可能想看看简单的分布式任务队列:
看豆豆
这已经晚了一年或其他什么,但这是我一起破解的东西,以制作一个进程队列,一次只执行 X 个。http://github.com/goosemo/job_queue
您可能想查看多处理的队列。包含在 Python 2.6 中,在 PyPI 上为早期版本的 Python 获取它。
标准库文档:http : //docs.python.org/library/multiprocessing.html 在 PyPI 上:http: //pypi.python.org/pypi/multiprocessing
还有 Unix 'at'
欲了解更多信息:男人在