问题标签 [hazelcast-jet]

我有一个帐户列表并在刻度上执行哈希连接并返回带有刻度数据的帐户。但是在 hashjoin 之后我有drainTo lListJet然后阅读它DistributedStream并返回它。

是否可以drainTo使用 javaList而不是lListJet在执行 hashjoin 之后？

像下面这样的东西是可能的吗？

CustomSinkProcessor 将在哪里获取空的 java 列表并与帐户一起返回？

我在 Spring Boot v.2.0.3.RELEASE 上运行 hazelcast-jet-spring artifact (not hazelcast-jet) v.0.6.1 并收到此错误：

com.hazelcast.internal.journal.EventJournalDataSerializerHook com.hazelcast.journal.EventJournalDataSerializerHook

看起来 2 个同名但位于不同包中的类处于冲突状态。您能否建议如何避免这种情况？

谢谢！

抱歉，这可能是个愚蠢的问题，但从文档中不清楚滑动窗口的测量单位是什么？是毫秒、秒还是流中的项目数？我注意到聚合操作产生了空结果，我不得不明确过滤它们，因为可能没有可用于该窗口的数据，所以我猜最后一点它不是一个选项。

我有构建管道的示例代码。

此代码打印以下 DAG 信息

DAG 信息具有其他详细信息/方法调用，例如 partitioned() 、 Distributed()

这是否根据密钥分配记录？同样，hazelcast jet 如何确保记录不会移动到不同的分区。

我发现了一个有趣的观察结果，试图交叉检查我的流处理的聚合结果。我创建了一个测试用例，当预定义的数据集被输入到日志地图中并且聚合应该填充 1 个结果，因为它与窗口大小/滑动和具有预定时间戳的数据量一致。然而结果从未公布。没有发出窗口，但是执行的累积/组合操作很少。它与真实数据的工作方式不同，但聚合的结果总是“落后于”从源中提取的数据量。我想这与水印有关？我如何确保在我的测试用例中它不会等待更多数据到来。允许迟到有帮助吗？

我需要将聚合结果填充到 3 个单独的接收器 - 更新逻辑略有不同的映射。我试图将管道对象转换为 DAG 并将另一条边添加到倒数第二个顶点，但它引发了一个异常，即不允许多个出站边。有没有办法创建具有多个出站边缘的 DAG？

我是 Hazelcast Jet 的新手，所以想知道我是否做错了什么。

我正在本地测试 tis。我在本地启动了 2 个 Hazelcast Jet 实例：

Jet.newJetInstance();

这只是通过运行具有 public static void main 两次的单独类。

然后我提交作业，启动具有所有逻辑的新 Jet 实例。我正在打印处理的记录数。我只看到它被打印在一个节点上，而不是等间距，因为它假设在所有节点上运行。我做错了什么还是我错过了任何设置。

这是我的流式处理过程的代码

谢谢

我真的很喜欢 jazelcast jet 如何与 java util 流一起工作，但是当我运行这些流时，我很困惑这是如何以分布式方式运行的。

这是一个简单的示例，我首先创建一个 jet 实例，然后运行另一个主程序，然后运行此代码，使其形成一个由 2 个节点组成的集群。因此，当我运行上面的代码时，我希望看到 map 函数中的 print 语句将在两个节点中打印，因为我认为它是分布式的并且会发送到多个节点。但它总是只在一个节点上执行整个流程。我试图思考这是如何分发的，或者是我缺乏对 hazelcast Jet 的了解。

谢谢

我需要处理一些不定式传入流并将结果发送到某个外部服务器，例如通过 REST。我需要一个“Exactly-once”保证。我可以用 hazelcast jet 实现这一目标吗？

文档说

从 0.6 版开始，Hazelcast Jet 支持完全一次处理，源是 Hazelcast IMap 或 Kafka 主题，接收器是 Hazelcast IMap。

我可以将 IMap 用作接收器，但我很困惑如何从中“提取”新数据。是否有任何“恰好一次”的 IMap 事件监听器？

摘要：我正在尝试利用 jet 管道进行高负载聚合。我发现绝大多数运行时间都是通过字节流对我的地图记录进行序列化和反序列化（它们实现 DataSerializable）。我认为将聚合操作分发到节点的目的是它们可以直接访问堆中的分布式成员。

管道：

资源：

总计的：

我发现在执行管道作业时，源是在地图中读取/写入记录：

触发此操作的 Accumulator.apply 中的代码（来自“andAccumulate”步骤）看起来像

如何创建一个 Jet 地图数据源，将地图本地条目或值提供给 AggregateOperation 在每个节点和线程上累积调用而不调用序列化？我正在做一些具体的事情来让它以这种方式表现吗？我相信集群设置为使用备份记录进行聚合；那会导致这个吗？（我还没有确认每条记录都发生这种情况）

编辑：这是我当前的 MapConfig：

据我了解http://docs.hazelcast.org/docs/3.10.4/manual/html-single/index.html#setting-in-memory-format InMemoryFormat.OBJECT 应该指示 IMap 将值保留在它们的目标（反序列化）形式。