r - Sparklyr (R Studio) 中的命令

Question

sparklyr 中的 sdf_register 和 copy_to 命令有什么区别？

你什么时候使用每个命令？

Answer 1

sdf_register是一个 Spark 特定的函数，它SparkDataFrame在 Metastore 中注册它不涉及数据复制，用于 Spark 互操作。

copy_to将本地数据复制到 Spark。如果与SparkDataFrame它一起使用，它将收集并放回 Spark。