我在 Azure Databricks 集群中有一个表，我想将此数据复制到 Azure SQL 数据库中，让其他用户从元数据库分析这些数据。
是否可以通过 Azure 数据工厂访问数据块表？
问问题
1225 次
2 回答
1
不，很遗憾没有。Databricks 表通常是临时的，只要您的作业/会话正在运行，它就会一直存在。见这里。
您需要将 databricks 表持久化到某个存储中才能访问它。更改您的数据块作业以将表转储到 Blob 存储，因为它是最终操作。在数据工厂作业的下一步中，您可以从存储帐户中读取转储的数据并进一步处理。
另一种选择可能是databricks delta，虽然我还没有尝试过......
于 2019-01-14T16:47:45.803 回答
0
如果您在 Databricks 配置单元元存储中注册表，则 ADF 可以使用 ADF 中的 ODBC 源从中读取。虽然这需要一个IR。或者，您可以将表写入外部存储，例如 blob 或湖。然后 ADF 可以读取该文件并将其推送到您的 sql 数据库。
于 2019-01-14T21:12:48.563 回答