21

我知道有类似的问题，例如：

但我问这个是因为我正在寻找一个由几个用例示例支持的更特别的区别，拜托。

所以，我是一个 python 用户，想要制作一个/两个的程序：

  1. 太大而无法
  2. 花费太长时间

在一台机器上做，并在多台机器上处理它们。我熟悉python中的（单机）多处理包，我现在正在编写mapreduce风格的代码。例如，我知道我的函数很容易并行化。

在询问我通常的聪明的 CS 建议提供者时，我将我的问题表述为：

“我想拿一个任务，把它分成一堆子任务，在一堆机器上同时执行，然后把这些结果聚合起来，根据其他一些函数来处理，可能是reduce，也可能是指令例如，串行添加到数据库中。”

根据我的用例的分解，我认为我同样可以使用 Hadoop 或一组 Celery worker + RabbitMQ 代理。然而，当我向贤明的建议提供者询问时，他们的回答好像我完全疯了，将 Hadoop 和 Celery 视为可比较的解决方案。我已经阅读了很多关于 Hadoop 和 Celery 的文章——我认为我对两者的作用有很好的了解——我似乎不明白的是：

  1. 为什么他们被认为如此独立，如此不同？
  2. 鉴于它们似乎被视为完全不同的技术——以什么方式？有哪些用例可以区分一个或一个比另一个更好？
  3. 两者都可以解决什么问题，将其中一个用于哪些领域会特别愚蠢？
  4. 是否有更好、更简单的方法来为多台机器实现类似于 Pool.map() 的多处理功能？让我们想象一下，我的问题不受存储限制，而是受计算所需的 CPU 和 RAM 的限制，因此没有空间太小来容纳从工作人员返回的结果是没有问题的。（即，我正在做类似模拟的事情，我需要在由数据库中的值播种的较小机器上生成很多东西，但在它们返回到源机器/数据库之前，这些东西会被减少。）

我知道 Hadoop 是大数据标准，但 Celery 看起来也得到了很好的支持；我很欣赏它不是 java（用于 hadoop 的流式 API python 对我来说看起来不舒服），所以我倾向于使用 Celery 选项。

4

1 回答 1

24

  1. 它们的相同之处在于两者都可以解决您描述的问题（map-reduce）。它们的不同之处在于 Hadoop 完全是为解决该用例而构建的，而 Celey/RabbitMQ 的构建是为了使用消息传递促进不同节点上的任务执行。Celery 还支持不同的用例。

  2. Hadoop 通过拥有一个大型且特殊的文件系统来解决 map-reduce 问题，mapper 从该文件系统中获取其数据，将其发送到一组 map 节点并将其缩减为该文件系统。这样做的好处是速度非常快。缺点是它只对基于文本的数据输入进行操作，并不真正支持 Python，而且如果你不能（稍微）做不同的用例。Celery 是一个基于消息的任务执行器。您可以在其中定义任务并将它们组合在一个工作流中（可以是map-reduce工作流）。它的优点是它是基于 python 的，您可以在自定义工作流程中将任务拼接在一起。缺点是它依赖于单个代理/结果后端及其设置时间。

  3. 因此，如果您有几个 Gb 的日志文件并且不关心用 Java 编写并且有一些专门用于运行 Hadoop 的备用服务器，请使用它。如果您希望灵活地运行工作流程任务，请使用 Celery。或者.....

  4. 是的！其中一家公司的一个新项目帮助创建了 RabbitMQ（和其他人）使用的消息传递协议 AMQP。它被称为ZeroMQ与 Celery 相比，它奇怪地降低了抽象级别，从而将分布式消息传递/执行提升到了一个新的水平。它定义了可以以各种方式链接在一起的套接字，以在节点之间创建消息链接。您想对这些消息做的任何事情都由您来写。尽管这听起来像是“围绕套接字的薄包装器有什么好处”，但实际上它处于正确的抽象级别。现在在我们公司，我们正在分解我们所有的 celery 消息并使用 ZeroMQ 重建它。我们发现 Celery 对如何执行任务过于固执己见，而且设置/配置通常很痛苦。此外，必须处理所有流量的中间代理也成为了很大的瓶颈。

恢复：

  • 用尽可能少的编程和大量的设置/配置时间来计算书中“the”的出现次数：Hadoop
  • 创建原子任务并能够让它们一起工作，不需要太多的编程和大量的设置/配置时间：Celery
  • 完全控制如何处理您的消息以及如何在几乎没有设置/配置时间的情况下对其进行编程：ZeroMQ
  • 没有设置/配置时间的痛苦：套接字
于 2013-08-29T22:58:12.047 回答