S3 存储桶中的对象大小为 5.3 GB。为了将对象转换为数据,我使用了get_object("link to bucket path")
. 但这会导致内存问题。
因此,我在 RStudio 中安装了 Spark 2.3.0 并尝试将此对象直接加载到 Spark 中,但将对象直接加载到 spark 中的命令未知。
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
如果我将对象转换为可读的数据类型(例如 R 中的 data.frame/tbl),我将使用copy_to
以下方式将数据从 R 传输到 spark 中:
将数据复制到 Spark
spark_tbl <- copy_to(spark_conn,data)
我想知道如何转换 spark 中的对象?
相关链接将是
任何指导将不胜感激。