0

我正在运行一个 3 节点 Storm 集群。我们正在提交一个包含 10 个工作人员的拓扑，以下是拓扑详细信息

拓扑细节：

kafkaspout: 1 (with 10 kafka partions and 10 executors) 
no of bolt: 4 (with bolt1 - 30 executors,bolt2 - 50 executors, bolt3 - 80 executors and bolt4 has 100 executors)
kafka spout pending : 500 messages

我们每天处理 8 到 1000 万个数据。问题是 Toplolgy 只运行了 2 到 3 天，而我们在 kafka spout 中看到一些失败的元组并且没有处理任何消息。提交新拓扑时它工作正常，但在 2 中再次运行或 3 天我们看到同样的问题。有人可以为我们提供解决方案。下面是我的风暴配置

风暴.yaml：

worker.childopts: "-Xmx3072m -XX:-UseGCOverheadLimit -server -XX:+AggressiveOpts -XX:+UseCompressedOops -Djava.net.preferIPv4Stack=true -XX:MaxTenuringThreshold=1 -XX:SurvivorRatio=6 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly"
storm.zookeeper.servers:
     - "zoo1"
     - "zoo2"
     - "zoo3"
storm.zookeeper.port: 2181
ui.port: 9095
ui.host: uihost

nimbus.host: "nimbushost"
storm.local.dir: "/storm-logs"

supervisor.slots.ports:
   - 6700
   - 6701
   - 6702
   - 6703
   - 6704
   - 6705
   - 6706
   - 6707
   - 6708
   - 6709
4

1 回答 1

0

这些都是非常旧的版本。我对 Storm pre-0.10 不太熟悉，但我会链接这个答案https://stackoverflow.com/a/49138567/8845188，因为情况看起来很相似。

请注意，与使用 Storm 1.1.1 的其他用户不同，您使用的版本可能未修复 STORM-1750，因此您应该考虑升级。

于 2018-03-07T17:45:12.563 回答