40

我想做的是：

  1. 使用数字主题（Long's）中的记录
  2. 聚合（计数）每个 5 秒窗口的值
  3. 将 FINAL 聚合结果发送到另一个主题

我的代码如下所示：

KStream<String, Long> longs = builder.stream(
            Serdes.String(), Serdes.Long(), "longs");

// In one ktable, count by key, on a five second tumbling window.
KTable<Windowed<String>, Long> longCounts = 
            longs.countByKey(TimeWindows.of("longCounts", 5000L));

// Finally, sink to the long-avgs topic.
longCounts.toStream((wk, v) -> wk.key())
          .to("long-counts");

看起来一切都按预期工作，但聚合被发送到每个传入记录的目标主题。我的问题是如何只发送每个窗口的最终聚合结果？

4

3 回答 3

32

在 Kafka Streams 中没有“最终聚合”之类的东西。窗口始终保持打开状态，以处理在窗口结束时间过后到达的无序记录。但是，窗户不会永远保留。一旦保留时间到期，它们就会被丢弃。没有关于何时丢弃窗口的特殊操作。

有关更多详细信息，请参阅 Confluent 文档：http: //docs.confluent.io/current/streams/

因此，对于聚合的每次更新，都会生成一条结果记录（因为 Kafka Streams 也会在乱序记录上更新聚合结果）。您的“最终结果”将是最新的结果记录（在丢弃窗口之前）。根据您的用例，手动重复数据删除将是解决问题的一种方法（使用较低级别的 API，transform()或process()）

这篇博文也可能有帮助：https ://timothyrenner.github.io/engineering/2016/08/11/kafka-streams-not-looking-at-facebook.html

另一篇不使用标点符号的博客文章：http: //blog.inovatrend.com/2018/03/making-of-message-gateway-with-kafka.html

更新

使用KIP-328，KTable#suppress()添加了一个运算符，允许以严格的方式抑制连续更新并在每个窗口发出单个结果记录；权衡是增加延迟。

于 2016-08-14T18:24:45.837 回答
6

从 Kafka Streams 2.1 版开始，您可以使用 suppress.

上面提到的 apache Kafka Streams 文档中有一个示例，当用户在一小时内发生的事件少于三个时会发送警报：

KGroupedStream<UserId, Event> grouped = ...;
grouped
  .windowedBy(TimeWindows.of(Duration.ofHours(1)).grace(ofMinutes(10)))
  .count()
  .suppress(Suppressed.untilWindowCloses(unbounded()))
  .filter((windowedUserId, count) -> count < 3)
  .toStream()
  .foreach((windowedUserId, count) -> sendAlert(windowedUserId.window(), windowedUserId.key(), count));

正如此答案的更新中所述，您应该注意权衡。此外，请注意，suppress() 是基于事件时间的。

于 2019-07-30T13:17:06.393 回答
0

我遇到了这个问题，但是我解决了这个问题，在固定窗口之后添加了 grace(0) 并使用了 Suppressed API

public void process(KStream<SensorKeyDTO, SensorDataDTO> stream) {

        buildAggregateMetricsBySensor(stream)
                .to(outputTopic, Produced.with(String(), new SensorAggregateMetricsSerde()));

    }

private KStream<String, SensorAggregateMetricsDTO> buildAggregateMetricsBySensor(KStream<SensorKeyDTO, SensorDataDTO> stream) {
        return stream
                .map((key, val) -> new KeyValue<>(val.getId(), val))
                .groupByKey(Grouped.with(String(), new SensorDataSerde()))
                .windowedBy(TimeWindows.of(Duration.ofMinutes(WINDOW_SIZE_IN_MINUTES)).grace(Duration.ofMillis(0)))
                .aggregate(SensorAggregateMetricsDTO::new,
                        (String k, SensorDataDTO v, SensorAggregateMetricsDTO va) -> aggregateData(v, va),
                        buildWindowPersistentStore())
                .suppress(Suppressed.untilWindowCloses(unbounded()))
                .toStream()
                .map((key, value) -> KeyValue.pair(key.key(), value));
    }


    private Materialized<String, SensorAggregateMetricsDTO, WindowStore<Bytes, byte[]>> buildWindowPersistentStore() {
        return Materialized
                .<String, SensorAggregateMetricsDTO, WindowStore<Bytes, byte[]>>as(WINDOW_STORE_NAME)
                .withKeySerde(String())
                .withValueSerde(new SensorAggregateMetricsSerde());
    }

在这里你可以看到结果

在此处输入图像描述

于 2020-09-11T17:36:49.790 回答