0

我是 Spark 流媒体的新手。我按照此链接中的教程进行操作：https ://spark.apache.org/docs/latest/streaming-programming-guide.html

当我运行代码时，我可以看到正在处理该行，但我看不到带有时间戳的输出。

我只能看到这个日志：

14/10/22 15:24:17 INFO scheduler.ReceiverTracker: Stream 0 received 0 blocks
14/10/22 15:24:17 INFO scheduler.JobScheduler: Added jobs for time 1414005857000 ms
.....

另外我试图用 forEachRDD 函数调用保存最后一个 DStream，数据没有被存储。如果有人可以帮助我，那将是一个很大的帮助..

4

3 回答 3

4

我遇到了同样的问题，我是这样解决的：

改变

val conf = new SparkConf().setMaster("local")

至

val conf = new SparkConf().setMaster("local[*]")

是错误的setMaster("local")，实际上不会计算。

希望这是您遇到的问题。

于 2014-12-18T11:47:07.713 回答
0

正如分隔符所证明的那样，打印工作正常.....，只是没有要打印的内容：DStream 是空的。提供的日志实际上显示：Stream 0 received 0 blocks。

确保您将数据正确发送到您的接收器。

于 2014-10-22T19:53:27.400 回答
-1 
val conf = new SparkConf().setMaster("local[*]") works

local[*]: ' *' 表示如果使用“local”，则创建与CPU内核编号相同的工作线程，没有创建工作线程
，为什么默认不是1，不是问题吗？参考。 火花中的 setMaster `local[*]` 是什么意思？

于 2019-05-31T06:36:41.157 回答