rstudio - 如何将 Azure Databricks 中的 RStudio 连接到 Delta Lake

Question

有没有办法将 Azure Databricks 集群上的 RStudio 连接到 Delta Lake / Delta 表？（读写模式会很棒）。

在集群上的 RStudio 中，我尝试设置主目录的路径：

- dbfs:/mnt/20_silver/
- ~dbfs:/mnt/20_silver/
- ~/mnt/20_silver/
- /mnt/20_silver/

但是还是没有成功。有什么提示吗？

Answer 1

解决了！

spark_read_delta(sc, path, name = NULL, version = NULL,
timestamp = NULL, options = list(), repartition = 0,
memory = TRUE, overwrite = TRUE, ...)

https://www.rdocumentation.org/packages/sparklyr/versions/1.0.5/topics/spark_read_delta

Answer 2

要建立 Spark 连接，您可以在 RStudio Ui 中运行以下代码：

SparkR::sparkR.session() /
library(sparklyr)  /
sc <- spark_connect(method = "databricks")  / 

除非您在文件系统上有任何 ACLS，否则它将起作用。