apache-spark - sortByKey 不适用于 Dstream

Question

我正在使用 Dstream(Spark Streaming) 的 Transform API 对数据进行排序。我正在使用 netcat 从 TCP 套接字读取数据。遵循使用的代码行：myDStream.transform(rdd=>rdd.sortByKey())

找不到函数 sortByKey。任何人都可以请帮助这一步中的问题是什么？

score 1 · Accepted Answer

如果您netcat用作输入，您可能会使用socketTextStreamwhich returns ReceiverInputDStream[String]。在这种情况下，transform将采用一个功能：

(RDD[String]) => RDD[U]

只是RDD[(T, U)]，哪里T有对应的Orderign就可以了sortedByKey。对于其他RDD你可以使用sortBy：

myDSTream.transform(rdd => rdd.sortBy(x => x))

1 回答 1