apache-spark - 在 sparkR 中流式传输？

Question

我在 Scala 中使用 Spark 已经有一段时间了。我现在正在研究 pySpark 和 SparkR。我没有看到 PySpark 和 SparkR 提到的流式传输。有谁知道在使用 Python 和 R 时是否可以进行 Spark 流式传输？

Answer 1

Spark is now supporting pySpark streaming in 1.3. And an implementation of SparkR streaming can be found in https://github.com/hlin09/spark/tree/SparkR-streaming.

Answer 2

目前（从 Spark 1.1 开始），Spark Streaming 仅在 Scala 和 Java 中受支持。如果您想使用特定的 R 程序或 Python 程序，可以查看 RDD 上的管道接口以及 DStream 上的转换函数。这有点尴尬，但它可能是目前在 Spark Streaming 中使用 Python 或 R 代码的最简单方法。

Answer 3

sparkR 流在最新版本 apache spark 2.1.1 之前不可用

但我们可以使用来自 github 的 sparkR 流

https://github.com/hlin09/spark/tree/SparkR-streaming

使用 mvn 构建 spark，然后您就可以进行 sparkR 流式传输。