apache-spark - 如何从字符串列表创建 DStream？

Question

我有一个字符串列表，但我找不到将列表更改为火花流 DStream 的方法。我试过这个：

val tmpList = List("hi", "hello")    
val rdd = sqlContext.sparkContext.parallelize(Seq(tmpList))   
val rowRdd = rdd.map(v => Row(v: _*))

但是eclipse说sparkContext不是sqlContext的成员，所以，我该怎么做呢？感谢您的帮助，请。

Answer 1

DStream 是 RDD 的序列，它是在您将接收到的消息注册到 Kafka 等流式源时创建的。为了测试是否要从 RDD 列表中创建 DStream，您可以执行以下操作：

val rdd1 = sqlContext.sparkContext.parallelize(Seq(tmpList))
val rdd2 = sqlContext.sparkContext.parallelize(Seq(tmpList1))
ssc.queueStream[String](mutable.Queue(rdd1,rdd2))

希望它能回答你的问题。