0

我想从实时消息源(当前是套接字)获取 RDD,以替换用于从本地文件读取的代码行sc.newAPIHadoopFile()。为了维护项目的结构,我必须从该源获取 RDD 而不是 DStream。我试图实现一个自定义接收器,但StreamingContext.receiverStream()只给了我一个 DStream。我能怎么做?

我尝试使用 将 DStream 转换为 RDD compute,但这没有任何意义,我失败了。所以我转而发现如何使用接收器直接接收 RDD。

4

0 回答 0