问题标签 [apache-storm]

我TridentTopology用来从文件中读取并使用单个喷口发出聚合。当我有一个主管节点时，拓扑工作正常，spout 发射正常。但是，当添加第二个主管节点时，spout 将停止发射。我能够使用 Storm UI 验证有两个主管节点。两个节点上的主管日志或工作日志文件都没有错误。

我正在使用 maven 构建我的 java 项目，但没有成功。那么，谁能告诉我 pom.xml 中构建项目所需的基本标签及其对应的值？另外，如何从命令行手动添加风暴依赖项？

我的项目目录结构：

最初我尝试了Maven Link并创建了pom.xml这样的：

但是，在那之后我使用mvn package. 它抛出这个异常：

之后，我使用了这个链接Maven 链接 2并像这样创建了 pom.xml：

这次它抛出了这个异常：

我改变了类WordCount如下WordCountTopology：

我在其中将单词写入文件abc.txt。

当我WordCountTopology在本地模式下运行（使用LocalCluster）时，它工作得很好。但是在分布式模式下运行时（使用该StormSubmitter.submitTopology()方法），WordCount该类没有将单词写入，abc.txt就好像该execute()方法根本没有运行一样。谁能给我一些想法？非常感谢！

PS我确定我的nimbus、supervisor、ui、zookeeper运行正常，在127.0.0.1:8080可以看到任务。

我正在尝试安装一个 Kafka-Storm “Hello World”系统。我已经安装并运行了 Kafka，当我使用 Kafka 生产者发送数据时，我可以使用 Kafka 控制台消费者读取它。

我从 O'Reilly 的“Getting Started With Storm”一书中选取了第 2 章的示例，并将其修改为使用 KafkaSpout 而不是常规的 spout。

当我运行应用程序时，数据已经在 kafka 中挂起，KafkaSpout 的 nextTuple 没有收到任何消息 - 它进入，尝试遍历协调器下的空管理器列表，然后退出。

我的环境是一个相当老的 Cloudera VM，带有 Storm 0.9 和 Kafka-Storm-0.9（最新），以及 Kafka 2.9.2-0.7.0。

这就是我定义 SpoutConfig 和拓扑的方式：

有人可以帮我弄清楚为什么我没有收到任何东西吗？

谢谢，G。

我正在尝试在 https://github.com/TheHydroImpulse/storm-kafka-starter编译和运行storm-kafka-starter项目

KafkaTopology 的主要功能如下所示：

jar 使用 maven 编译。但是在运行拓扑时，我得到了错误：

本地存储库在storm-kafka jar 中确实有BrokerHosts，我已经在我的java 文件中导入了KafkaConfig 库。我无法弄清楚错误的原因。任何建议，将不胜感激。

我想通过 spout 从一个数据库中获取数据并处理数据并使用 trident 将其存储在另一个数据库中。我是 Storm 和 trident 的新手，我不确定如何实现它。我从数据库中获取数据spout（实现 trident 支持的 IRichSpout 的单独 java 类），我将它作为对象发出。我需要将它传递给 trident 拓扑进行处理（计算记录数）并将其存储到数据库中。

现在新的流需要一个喷口作为输入，即语法是

但我想将 spout 发出的对象作为流的输入，供 trident 处理并保存到数据库。那么我怎样才能将我的 spout 类带入 trident 并将其传递给新的流，或者我应该将 spout 和三叉戟同班？？

有人可以帮忙吗......

我正在尝试使用 maven 在本地模式下使用storm-0.8.1 和zookeeper-3.3.3 执行wordcount 示例。但是，每次我运行这个命令时，我都会收到以下错误：

mvn exec:java -Dexec.mainClass="com.test.newpackage.TopologyMain" Dexec.args="resource/words.txt"

我搜索并发现我之前使用的是zookeeper 3.4.5。所以，然后我将我的 zookeeper 更改为 3.3.3。但仍然无法执行。如果有人想参考我的代码，这里是链接

当我写一个storm topology时，我发现tuples的顺序并不总是和spout发出的一样。（spout的作用是一行一行地读取一个文件，然后把行发送到一个不带 Thread.sleep()的bolt ，所以这个过程会非常快）。

谁能告诉我如何确保喷口或螺栓发出的元组的顺序？非常感谢！

我们通过 API 接收大量 XML 数据。为了处理这个庞大的数据集，我们计划在 Hadoop 中进行。

在了解如何有效地将数据引入 Hadoop 方面需要您的帮助。有哪些可用的工具？是否有可能实时获取这些数据？

请提供您的意见。

谢谢你的帮助。

我们需要在创建拓扑时传递一个对象，以便螺栓可以访问该对象并基于该对象进行一些进一步的处理。是否可以通过对象传递对象TopplogyContext，如果可以，如何传递？或者在提交拓扑之前是否有其他方法可以传递对象，以便螺栓可以对其进行处理/控制？

我们需要通过上下文传递对象，以便所有螺栓都可以访问它，并且不需要在该拓扑的所有螺栓中强制实现构造函数。那么，想知道是否有任何 API 可以做到这一点？