azure-blob-storage - 从 ADLS Gen 2 blob 存储获取最新数据到安装在 Azure DataBricks 中的表

Question

我在 Azure DataBricks 中使用挂载路径创建了一个非托管表，如下所示：

CREATE TABLE <Table-Name> using org.apache.spark.sql.parquet OPTIONS (path "/mnt/<folder>/<subfolder>/")

挂载路径的来源是存储在 ADLS Gen2 中的 parquet 文件。我查看是否在 ADLS Gen 2 blob 存储路径中更改了基础数据，它没有反映在 ADB 中创建的非托管表中。此 ADB 表仍然保存在创建表时 Blob 存储中可用的数据有没有办法将最新数据从 Blob 存储中获取到 ADB 中的表中？

Answer 1

有很多人建议使用，

   REFRESH TABLE <table-name>

https://docs.databricks.com/data/tables.html#update-a-table

但它从来没有为我工作过。

下面认为它有效。

yourdataframe.write.mode("overwrite").saveAsTable("test_table")