Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
嗨,我想知道是否有解决方案可以将 R 包与spark-submitSparkR 中的计算节点一起发送并使用它们?
spark-submit
压缩 R 包的内容并将其作为 my_package.zip 发送到集群,即使用spark-submit命令。这会将 zip 文件放入 SparkR 脚本的工作目录中。
然后你可以在你的 R 脚本中安装这个包:
install.packages("my_package.zip",repos=NULL) library(my_package)
免责声明:如果您的软件包依赖于其他软件包,您将需要手动发送和安装它们。