r - 同时使用 SparkR 和 Sparklyr

Question

据我了解，这两个包为 Apache Spark 提供了相似但大多不同的包装函数。Sparklyr 较新，但仍需要在功能范围内增长。因此，我认为目前需要同时使用这两个包来获得全部功能。

由于这两个包本质上都包装了对 scala 类的 Java 实例的引用，我猜应该可以并行使用这些包。但这真的可能吗？你的最佳实践是什么？

Answer 1

这两个包使用不同的机制并且不是为互操作性而设计的。它们的内部以不同的方式设计，并且不会以相同的方式暴露 JVM 后端。

虽然人们可以想到一些解决方案，允许使用持久元存储进行部分数据共享（想到使用全局临时视图），但它的应用程序相当有限。

如果您需要两者，我建议您将管道分成多个步骤，并在这些步骤之间传递数据，使用持久存储。