r - 将 R 包运送到 SparkR 中的节点

Question

嗨，我想知道是否有解决方案可以将 R 包与spark-submitSparkR 中的计算节点一起发送并使用它们？

Answer 1

压缩 R 包的内容并将其作为 my_package.zip 发送到集群，即使用spark-submit命令。这会将 zip 文件放入 SparkR 脚本的工作目录中。

然后你可以在你的 R 脚本中安装这个包：

 install.packages("my_package.zip",repos=NULL)
 library(my_package)

免责声明：如果您的软件包依赖于其他软件包，您将需要手动发送和安装它们。