4

我想在 Apache Flink 中创建一个流数据的时间窗口。我的数据看起来有点像这样:

1> {52,"mokshda",84.85}
2> {1,"kavita",26.16}
2> {131,"nidhi",178.9}
3> {2,"poorvi",22.97}
4> {115,"saheba",110.41}

每 20 秒,我想要所有行的标记总和(最后一列,例如 Mokshda 的标记是 84.85)。timeWindow() 函数在 KeyedStream 上运行,因此我必须 keyBy() 这个 DataStream。我可以通过卷号输入它(第一列,例如 Mokshda 的 52)。

val windowedStream = stockStream
                        .keyBy(0)
                        .timeWindow(Time.seconds(20))
                        .sum(2)

但显然,Flink 并没有将我的数据作为列表读取。它将它作为字符串读取,因此,我得到以下异常:

Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: Specifying keys via field positions is only valid for tuple data types. Type: String

如何对字符串数据执行 timeWindow,或者如何将此数据转换为元组?

4

1 回答 1

5

您可以使用 a将 a 转换DataStream[String]为 a ,该 a 将 String 解析为其组件,转换数据类型并发出 a 。DataStream[(Int, String, Double)]MapFunction[String, (Int, String, Double)]Tuple

您还可以将 atimeWindowAll应用于非键控数据流。但是,语义当然不同,AllWindow 只能以并行度 1 处理。

于 2016-04-18T14:13:24.737 回答