2

我正在尝试将项目从 apache-storm 迁移到 twitter-heron。经过一番挣扎,我能够摆脱大部分错误,例如使用className: "org.apache.storm.kafka.ZkHosts"而不是className: "storm.kafka.ZkHosts". 但是,我被困在提交拓扑中。我使用 Flux 将拓扑提交给storm。

在 ZkState 中创建 CuratorFramework 对象时,我收到 NullPointerException。在进一步挖掘中,我在 github中发现了一个问题,它说,如果未设置有关 zookeeper 的配置,则会导致此问题。

进一步调试我发现问题是因为我缺少ZkState.java:46中所需的以下配置。

storm.zookeeper.session.timeout
storm.zookeeper.connection.timeout
storm.zookeeper.retry.times
storm.zookeeper.retry.interval

虽然我已经设法确定了这个问题,但是,我不确定在我的配置中添加到哪里。有人可以帮我在哪里添加上述配置。谢谢你。

我的通量配置

name: "My_Topology"
components:
  - id: "zkHosts"
    className: "org.apache.storm.kafka.ZkHosts"
    constructorArgs:
      - "localhost:2181"

  - id: "SpoutConfig"
    className: "org.apache.storm.kafka.SpoutConfig"
    constructorArgs:
      - ref: "zkHosts" # brokerHosts
      - "my-topic"  # topic
      - "/my-zkRoot" # zkRoot
      - "my-id" # spoutId
    properties: 
      - name: "zkServers"
        value: ["localhost"]
      - name: "zkPort"
        value: 2181
      - name: "zkRoot"
        value: "/my-zkRoot"
      - name: "retryInitialDelayMs"
        value: 2000
      - name: "retryDelayMultiplier"
        value: 2

config:
  topology.workers: 5
  topology.testing.always.try.serialize: true

spouts:
  - id: "kafka-spout"
    className: "org.apache.storm.kafka.KafkaSpout"
    parallelism: 1
    constructorArgs:
      - ref: "SpoutConfig"
bolts:
  - id: "my-bolt"
    className: "com.example.sample.MyBolt"
    parallelism: 1

streams:
  - name: "kafka_spout --> my_bolt"
    from: "kafka-spout"
    to: "my-bolt"
    grouping:
      type: SHUFFLE
4

2 回答 2

1

您可以将这些添加到 Flux yaml 文件的配置部分

config:
  topology.workers: 5
  topology.testing.always.try.serialize: true
  storm.zookeeper.session.timeout: 30000
  storm.zookeeper.connection.timeout: 30000
  storm.zookeeper.retry.times: 5
  storm.zookeeper.retry.interval: 2000
于 2017-07-18T05:58:28.840 回答
1

我们已经将 Storm Flux 原生集成到 Heron 中以使其变得简单。使用 Heron ECO - 您可以为两个不同的 API 编写拓扑

  • 原生苍鹭 API
  • 风暴 API

如需更多信息,请查看此处的 ECO 文档

https://apache.github.io/incubator-heron/docs/developers/java/eco-api/

于 2018-04-12T00:29:18.810 回答