问题标签 [trident]

我想知道重新平衡 Trident 拓扑的最佳实践是什么？Storm Trident 拓扑似乎是根据流的并行提示来设置任务的数量。当我运行重新平衡命令时，我无法增加执行者的数量，因为执行者必须是 <= 任务数。我正在使用风暴 9.0.1。任何线索将不胜感激。

我的拓扑有问题。我试图解释工作流程......我有一个每 2 分钟发出约 500k 元组的源，这些元组必须由一个 spout 读取并像单个对象一样处理一次（我认为是 trident 中的一批）。之后，螺栓/函数/还有什么？...必须附加时间戳并将元组保存到 Redis 中。

我尝试使用一个函数实现一个 Trident 拓扑，该函数使用 Jedis 对象（Java 的 Redis 库）将所有元组保存到 Redis 到这个 Function 类中，但是当我部署时，我在这个对象上收到一个 NotSerializable 异常。

我的问题是。如何实现在 Redis 这批元组上写入的函数？在网上阅读我找不到任何从函数写入 Redis 的示例或任何使用 Trident 中的 State 对象的示例（可能我必须使用它......）

我的简单拓扑：

提前致谢

Based on this article, windows phone 8 has Trident (mshtml).

So, how can I add the reference to it in a WP8 project?

我正在运行storm和trident-storm本地集群。我的目标是比较它们。我想通过比较执行时间来做到这一点。如何查看风暴和三叉戟风暴中每个螺栓的工作时间？

[EDIT: For now, I've ended up hand-rolling my own solution with swing timers, which seems to be working OK for my needs. I'm still concerned about performance and would be willing to junk my solution in favour of Trident if anyone can suggest a solution to the below. Looking around online, I'm wondering whether Trident is still "alive" as a project? NB I also tried TimingFramework but didn't see advantages compared to my own code.]

I'm an old hand with back-end Java programming but inexperienced with the GUI side, and completely new to the Trident library. Our requirement is to have a large number of labels that fade in and out independently, so I'm keen to do this with a library rather than trying to hand-code everything.

The test code below reproduces the problem. TTGui runs and calls a method to add a label saying "HELLO WORLD". The method asks Trident to animate the alpha of the label. TTLabel subclasses JLabel to achieve this (and for other reasons).

Main class:

Label subclass:

My problem right now is that I get an error repeated every time Trident dispatches an event:

I'm aware that the content of paintComponent may be incorrect but it compiles and in debug mode (in Eclipse) the method never seems to be called. So if you have advice on what I have there I'd be appreciative, but the main issue right now is the error.

This is my first post to StackOverflow so do let me know if there's a way I can improve this question.

I am trying to create a sentiment indicator with a Redis state. Here is my code:

Basically, I receive a tweet, and I classify the tweet with the TwitterSentimentClassifier function into positive or negative, and I obtain the date, too. Then, the Union function concatenate the feeling and the date (e.g. positive2014.15.05), in order to have one key (I'm doing this because Trident-Redis only allow one key). Next, Trident groups by the key. Finally, .persistentAggregate persists the counts per keys in a Redis database. This works fine.

But now, I want to show this indicator in a node.js application connected with Redis.

Indicator today = Number of tweets negatives today /Total of tweets today

So, I was wondering:

• Should I use a DRCP call with a state query?
• Do i have to use another persistent aggregator in order to store the indicator value?
• Do I have to create a Trident function to store the indicator value in a Redis db?
• I am going to use Node.js, socket.io, express and d3.js for the visualization. Can I use a normal division operation in Javascript with my actual Redis state?

我应该实现一个三叉戟事务拓扑。我发现我可以使用 kafka 作为 spout 来使我的拓扑具有事务性。我发现https://github.com/nathanmarz/storm-contrib/tree/master/storm-kafka这是一个 kafka spout forstorm 但它不是事务性的。我还发现 https://github.com/nathanmarz/storm/blob/master/storm-core/src/jvm/storm/trident/spout/IOpaquePartitionedTridentSpout.java这是一个三叉戟 kafka 事务喷口。但我没有它的 Maven 源代码，也没有使用它的说明。只有使用 kafka 风暴喷口的说明。我还需要一个实现分区卡夫卡的指令。如果您有实现事务拓扑的经验，请帮助我！谢谢！

我能够使用 TridentState 提供的 partitionpersist api 批量处理事件流。但是现在，我想发出这个螺栓的处理值，并将它们作为另一批事件收集到下一个螺栓中。

我们发现 Kafka + Storm + Trident + OpaqueTridentKafkaSpout 存在一些性能问题

下面提到的是我们的设置细节：

风暴拓扑：

我们用于 Storm 的 Storm.yaml 如下：

• Kafka 生成的每条消息的大小：11 KB
• 每个bolt（NEO4JTridentFunction）处理数据的执行时间：500ms
• 风暴工人人数：1
• Spout(OpaqueTridentKafkaSpout) 的并行提示：1

• Bolt/Function（NEO4JTridentFunction）的并行提示：50

• 我们看到 Spout 的吞吐量约为 12msgs/秒。

• Kafka 产生的消息速率：150msgs/sec

Storm 和 Kafka 都是单节点部署。我们从 Storm 中了解到更高的吞吐量，但无法产生相同的结果。请建议如何调整 Storm+ Kafka + OpaqueTridentKafkaSpout 配置以实现更高的吞吐量。在这方面的任何帮助都会极大地帮助我们。

谢谢，

我正在尝试在多节点 Storm 集群上测试 Storm+Kafka+Trident 作业。

当我在机器 1 上运行我的作业时，作业运行并处理记录当我在添加第二个工作人员后运行我的作业时，作业也运行没有任何问题。

当我将第三个工作人员添加到集群时，问题就开始了。我在工人日志中得到以下信息

在主管日志中，我收到以下消息

作业根本不运行。我的storm.yaml 配置是这样的