apache-spark - 如何在 Scala 中的两个 DStream 之间执行压缩？

Question

我有两个窗口 dstream，我想像 RDD 中的正常压缩一样压缩它们。

注意：主要目标是计算窗口 dstream 的均值和标准差，以防有更好的计算方法。

Answer 1

我使用 DStream 的 transformWith 来使用这个 rdd 操作，这解决了我的问题。

例子 ：

  valueStream.transformWith(mean, (rdd1: RDD[Int], rdd2 : RDD[Double]) => {rdd1.zip(rdd2)}