4

我一直在大量阅读 Spring XD 文档，但无法真正掌握我想要实现的与 Hadoop YARN 相关的两件事。

也许它们还不被支持或永远不会被支持——可能是因为我遗漏了一些让我的场景变得毫无意义的东西......

  1. 在 Hadoop YARN 中，ApplicationMaster 可以请求将容器分配到特定主机上，即“机架感知”。这允许在 HDFS 上的数据存储位置附近执行处理。

这种功能可以作为流部署清单中的评估属性公开吗？

请注意，我不是在谈论分区流，其中相同的容器为流中的所有模块处理相同的消息。

我希望在一组容器上部署流中间的模块的许多实例——这些容器还将保存我预先存在的大型静态数据的片段。我希望根据评估规则为每次调用选择最合适的模块实例，该评估规则涉及将正在处理的每条消息映射到存储在其中一个容器上的关联的预先存在的大文件。

  1. 部署流后，是否可以在多个容器中动态“横向扩展”一个模块的部署。例如，如果流中的一个模块在部署流后被证明是瓶颈，那么该模块的实例数量是否可以在更多容器中动态增加？

谢谢尼克

4

1 回答 1

0

部署流后，是否可以在多个容器中动态“横向扩展”一个模块的部署。例如，如果流中的一个模块在部署流后被证明是瓶颈，那么该模块的实例数量是否可以在更多容器中动态增加？

模块的直接绑定将有助于您的情况。直接绑定允许流的模块位于同一容器上，并为加入集群的每个容器提供这些位于同一位置的模块的动态部署。您可以在此处找到有关此的更多信息

于 2015-07-15T00:24:00.880 回答