0

我是 PipelineDB 和流分析的新手，

我有这两个 SQL 命令；

CREATE CONTINUOUS VIEW timing_hashtags WITH (sw = '1 minutes')
AS SELECT h, minute(arrival_timestamp) as minuteOfArrival, COUNT(*) as quantity
FROM hashtag_stream GROUP BY h, minuteOfArrival;

和

CREATE CONTINUOUS VIEW timing_hashtagsTTL WITH (ttl = '1 minute', ttl_column = 'minuteOfArrival')
AS SELECT h, minute(arrival_timestamp) as minuteOfArrival, COUNT(*) as quantity
FROM hashtag_stream GROUP BY h, minuteOfArrival;

当我在两个连续视图上运行以下查询时；

SELECT * FROM timing_hastags order by minuteOfArrival desc;

在timing_hastags 和timing_hastagsTTL 连续视图上结果是一样的；

在此处输入图像描述

有人可以帮我理解“ttl”和“sw”运算符在连续视图中的用法之间的区别。

谢谢你。

4

1 回答 1

1

我将在这里定义每一个，希望能澄清两者之间的区别：

TTL - 对收割者的提示，任何比这更早的行都可以在后台删除。因此，如果收割者没有及时删除它们，则 TTL 过期的行可能在读取时仍然可见。

滑动窗口- 仅在读取时考虑此窗口内的数据。指定窗口之外的数据在读取时将永远不可见。滑动窗口在内部使用 TTL 来使旧行过期，并且它们还在读取时对滑动窗口进行最终聚合。

有人可以帮我理解“ttl”和“sw”运算符在连续视图中的用法之间的区别。

CREATE CONTINUOUS VIEW timing_hashtags WITH (sw = '1 minutes') 
  AS SELECT h, minute(arrival_timestamp) as minuteOfArrival, COUNT(*) as quantity 
FROM hashtag_stream GROUP BY h, minuteOfArrival;

每当滑动窗口 CV 包含时间戳列时，最好只使用没有滑动窗口的 TTL。原因是最后 1 分钟的最终聚合将在读取时执行，这可能是不必要的，因为每一行已经在分钟级别聚合。在内部，SW CV 将以高于 1 分钟的粒度聚合（例如，每分钟会有很多行），并在最后一分钟在读取时聚合这些行。

从此 CV 定义中删除 minuteOfArrival 可能会使 SW 语义对您来说更清晰。即使没有 minuteOfArrival，在从 CV 中读取数据时，您也只会看到最后一分钟的数据。

于 2017-12-14T19:52:41.790 回答