问题标签 [apache-storm]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
1797 浏览

apache-storm - 在哪里更改 SleepSpoutWaitStrategyTime 的值

我正在使用风暴...我想将时间topology.sleep.spout.wait.strategy.time.ms从 1 毫秒(默认)增加到 1 秒。但我不知道这是在哪里。我有一个配置类,它的定义如下

我想将此字段包含在其类为的 bean 下backtype.storm.config

我应该使用什么参数名称?是emptyEmit吗?

编辑:我搜索了网络,并指定这些值将出现在 中default.yaml,但我在 Eclipse 中找不到这样的文件。

有人可以帮忙吗?

0 投票
1 回答
2287 浏览

maven - 仅在 Gradle 项目中使 Storm JAR 成为编译时

我正在尝试构建一个包含 Storm 项目的 Gradle 项目。为了在 Storm 上运行这个项目,我必须首先创建一个 JAR 文件并让 Storm 运行我的拓扑,例如

我遇到了问题,因为默认情况下,Gradle 在编译时和运行时都包含 Storm 依赖项。这会导致以下异常:

给出的异常实际上很有帮助,并提示我们解决问题的根本原因。解决方案是在使用 Gradle 编译时包含 Storm 依赖项,但在生成最终 JAR 文件时不包含。

有谁知道如何解决这个问题?StackOverflow 上的其他帖子并没有解决问题。如果您粘贴代码,请确保它实际运行。

谢谢!

0 投票
1 回答
1038 浏览

javascript - 以非常高的速度呈现流数据的可视化

我正在使用 Twitter Storm 对流式高速/大数据进行实时分析。现在我不知道如何继续以有效的方式在浏览器上可视化数据。我的意思是 Storm 的处理速度非常快,并且 Storm 正在集群上工作。我刚刚遇到了 Node.js 和 D3.js 的组合来解决这个显示问题。因为我既不是来自 UI 也不是 javascript 世界所以只是想知道我是否朝着正确的方向前进?有人可以简单地解释一下这种组合会给我带来什么吗?

0 投票
3 回答
1556 浏览

rabbitmq - 需要有关 Storm spout 的合适消息队列的建议

我正在开发一个原型Lambda 系统,我的数据通过 Flume 流式传输到 HDFS。我还需要将数据导入 Storm。Flume 是一个推送系统,而 Storm 更具有拉力,所以我认为尝试将一个 spout 连接到 Flume 并不明智,但我认为两者之间应该有一个消息队列。同样,这是一个原型,所以我正在寻找最佳实践,而不是完美。我正在考虑将符合 AMQP 的队列作为 Flume 接收器,然后从 spout 中提取消息。

这是一个好方法吗?如果是这样,我想使用在 Flume 世界(作为接收器)和 Storm 世界(作为 spout)中都具有相对强大支持的消息队列。如果我使用 AMQP,那么我假设这让我可以选择使用我想使用的任何符合 AMQP 的队列,对吗?谢谢。

0 投票
0 回答
1099 浏览

java - 如何使用storm更新状态-(将结果存储在数据库中)

我的拓扑(本地模式)中的更新状态有问题 - 我想在数据库中写入结果:

以这种方式运行拓扑:

数据正确地从数据库中获取(通过 MessageSubmittedOpaqueTransSpout)并由每个过滤器发出,只有来自第一个事务的数据由 partitionPersist 保存到 stateFactoryDB(LocationDBFactory),没有更新其他事务。

LocationDBStateUpdater 类中 updateState 方法的代码:

LocationDB 类的代码:

日志:

在此日志的开头,您可以看到其他信息,例如:

我的问题可能与此警告有关吗?我做错了什么?也许还有另一种方法可以将结果存储在数据库中?

0 投票
1 回答
464 浏览

apache-storm - 在监督下运行 Storm 的好处,示例/示例代码

我已经正确安装了storm。但是,我正在努力如何在暴风雨中运行一个例子。谁能给我链接或建议,我可以通过它执行示例?
另外,在监督下运行风暴有什么好处?

0 投票
2 回答
3334 浏览

apache-storm - 风暴中的三叉戟状态是什么?

我是风暴中三叉戟的新手。我对 TridentState 感到头疼。据我了解,三叉戟维护每个批次的状态(即元数据)(批次中的所有元组是否都通过在数据库中维护事务 id 来完全处理)并且我不完全确定以下语句的作用

任何人都可以解释当我们定义上述代码时实际发生了什么?

0 投票
1 回答
2021 浏览

ubuntu - 在 Ubuntu 上切换用户的不同方法

我有一台运行 Linux 的服务器Ubuntu 12.04 LTS。通常我使用一个名为ubuntu的用户。

最近我尝试在这台服务器上安装 Storm,并为此创建了一个专用的用户Storm

不小心因为一个错字,从ubuntu切换到Storm时,我意识到了一些不同的事情。

如果我使用以下命令切换sudo su storm,一切运行正常。

但是,如果我切换 using sudo su - storm,storm 程序将无法正确启动。尽管这两个命令都正确地将我带到了风暴用户之下。

任何人都可以帮我解释为什么?谢谢。

TE

0 投票
1 回答
538 浏览

clojure - 离线运行 leiningen 风暴项目

我正在尝试使用 leiningen 在 Twitter Storm 平台上编译一些项目。我正在使用的服务器无法访问互联网。我想知道是否可以通过下载所有依赖项来创建本地存储库来离线工作。

0 投票
1 回答
7858 浏览

java - java.lang.ClassNotFoundException: TopologyMain

我正在尝试向我的本地风暴集群提交一个简单的字数统计拓扑。首先,我尝试使用 Maven,然后使用 Storm 命令行客户端。我使用 Eclipse 创建了 JAR 文件。但是,它抛出主类未找到异常。谁能告诉我可能是什么问题?我在下面附上代码和异常。

编辑例外: