databricks - 如何使用 API 或类库读取 Azure Databricks 输出

Question

我有包含 SQL 命令的 Azure Databrick 笔记本。我需要捕获 SQL 命令的输出并在 Dot Net 核心中使用。需要帮忙。

Answer 1

不能直接在 Dot Net Core 中捕获 Azure Databricks Notebook 的结果。此外，没有可用的 .NET SDK，因此您需要依赖.NET 代码中的 Databricks REST API来进行所有操作。您可以尝试以下方法 -

1. 使用df.write更新您的笔记本以将 SQL 查询的结果作为 CSV 文件导出到文件存储。例如 - df.write.format("com.databricks.spark.csv").option("header","true").save("sqlResults.csv")
2. 您可以使用上述笔记本设置作业，然后您可以使用作业 API 调用作业 -在 .NET中立即运行
3. 您需要使用运行列表方法轮询作业状态，以从您的 .NET 代码中检查作业完成状态。
4. 作业完成后，您需要使用DBFS API - Read来读取您的笔记本在步骤 1 中生成的 csv 文件的内容。