hadoop - Samza 是否与 HA 中的 ResourceManager 一起使用？

Question

有人让 Samza 在 HA 中与资源经理一起工作吗？如果是这样，我应该设置yarn.resourcemanager.hostname什么yarn-site.xml？

如果我将其设置为我的第一个 RM，如果我从该 RM 提交作业并且 RM 是活动的，则作业提交工作正常。如果我运行作业提交的 RM 机器未处于活动状态，我会在端口 8032 上收到连接被拒绝错误。

Answer 1

是的，我们在 HA 模式下使用 RM 运行 samza。基本上确保 yarn-site.xml 具有下面定义的属性。如果第一个不成功，这将确保作业提交将尝试连接到另一个 RM。

    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.resourcemanager.cluster-id</name>
      <value>yarn_cluster_id</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>yarn_resource_manager2_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm1</name>
      <value>yarn_resource_manager_hostname:8032</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm2</name>
      <value>yarn_resource_manager2_hostname:8032</value>
    </property>