2

我正在尝试将storm的字数统计程序与kafka集成，因为我的生产者工作正常，即它正在读取文本文件并将每一行作为消息发送，我可以在简单的消费者控制台中看到这些消息。现在为了将它与storm集成，即将这些消息/行发送到消费者spout，我刚刚用来自storm-spout集成依赖项的kafka spout替换了之前的单词统计程序的storm spout，并且程序的其余部分是相同的，我正在尝试在eclipse中运行它但它没有被执行，我不知道问题是什么，甚至不知道我是否以正确的方式做，这是我的主要课程 -

package com.spnotes.storm;
import storm.kafka.BrokerHosts;
import storm.kafka.KafkaSpout;
import storm.kafka.SpoutConfig;
import storm.kafka.StringScheme;
import storm.kafka.ZkHosts;
import backtype.storm.Config;
import backtype.storm.LocalCluster;
import backtype.storm.spout.SchemeAsMultiScheme;
import backtype.storm.topology.TopologyBuilder;

import com.spnotes.storm.bolts.WordCounterBolt;
import com.spnotes.storm.bolts.WordSpitterBolt;

public class WordCount {

public static void main(String[] args) throws Exception{
    Config config = new Config();
    config.setDebug(true);
    config.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1);
    BrokerHosts hosts = new ZkHosts("localhost:9092");
    SpoutConfig spoutConfig = new SpoutConfig(hosts, "test", "localhost:2181", "id1");
    spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
    KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);

    TopologyBuilder builder = new TopologyBuilder();

    builder.setSpout("line-reader-spout", kafkaSpout);

    builder.setBolt("word-spitter", new WordSpitterBolt()).shuffleGrouping("line-reader-spout");

    builder.setBolt("word-counter", new WordCounterBolt()).shuffleGrouping("word-spitter");


    LocalCluster cluster = new LocalCluster();
    System.out.println("submit topology");
    Thread.sleep(10000);
    //StormSubmitter.submitTopology("HelloStorm5", config, builder.createTopology());
    cluster.submitTopology("HelloStorm5", config, builder.createTopology());
    cluster.shutdown();
}

}

有 2 个螺栓 WordSplitterBolt() 和 WordCounterBolt() ，Wordsplitterbolt 将每一行/消息分成标记/单词，WordCounterBolt 正在计算每个单词。谁能告诉我我做错了什么？我需要创建自己的 spout 而不是使用预定义的 KafkaSpout 吗？我的主要课程正确吗？

4

1 回答 1

2

更改代码：

        BrokerHosts hosts = new ZkHosts(zkConnect);

zkConnect 是 zookeeper 主机名和端口，不适用于 kafka。将其更改为 localhost:2181

正如在聊天中讨论的与代码相关的休息问题。

问题出在 Maven 依赖项上。将所有依赖项包含到所需的 POM.xml 中。

于 2015-03-27T13:32:38.080 回答