1

我正在寻找一种能够从 ADF 和其他 Azure 服务(如数据目录)连接到 Databricks deltalake 表的方法。我没有看到 ADF 数据源中列出的 databricks 数据存储。

关于类似的问题 -是否可以从 Azure 数据工厂读取 Azure Databricks 表?

@simon_dmorias 似乎建议使用 ODBC 连接来连接到数据块表。

我尝试设置 ODBC 连接,但它需要设置 IR。创建 IR 时我看到了 2 个选项。自托管和链接 自托管。我尝试创建自托管 IR,但它需要安装在我的本地桌面上,并且可能更适用于本地 odbc 连接。我无法在我的链接服务上使用 IR。

我已经能够将 powerbi 与 databricks deltalake 表连接起来,并计划在这里使用相同的凭据。这是参考链接 -

https://docs.azuredatabricks.net/user-guide/bi/power-bi.html

任何指导都会有所帮助

4

3 回答 3

1

你可以,但它很复杂。您需要将 Azure 数据工厂中的 ODBC 连接器与自托管运行时一起使用。

ADF 可以使用 ODBC ( https://docs.microsoft.com/en-us/azure/data-factory/connector-odbc ) 进行连接。它确实需要一个自托管的 IR。假设您安装了正确的驱动程序,您可以配置与 Databricks 集群的 ODBC 连接。

可以在 Databricks 工作区 ( https://docs.microsoft.com/en-us/azure/azure-databricks/connect-databricks-excel-python-r )的群集设置屏幕中找到 ODBC 设置的连接详细信息。

该过程与您为 PowerBI 发布的过程非常相似。

于 2019-09-14T18:14:50.267 回答
0

实际上,我认为可以直接从 Databricks 工作区中的任何表中获取元数据,通过使用当前版本的 Azure 数据目录上可用的 ODBC 连接,它会是一个更好的本机连接器,但现在如果你想给它一个尝试填写以下信息(在 Azure 数据目录发布应用程序上):

驱动程序: Microsoft Spark ODBC 驱动程序(必须安装在您的系统上)

连接字符串: host=eastus.azuredatabricks.net;port=443;SSL=1;HTTPPath=sql/protocolv1/o/XXXXXXXXXXXXXXX/XXXX-XXXXXX-XXXXXX;transportMode=http;AuthMech=8

用户:令牌

密码: dapiXXXXXXXXXXXXXXXXXXXXX

并让数据库字段为空

于 2020-07-09T17:44:09.130 回答
-1

请参阅Azure Data FactoryAzure Databricks 官方文档 部分User Guide > Developer Tools > Managing Dependencies in Data Pipelines。您将在主题中看到有关如何使用 Databricks Notebook Activity 创建 Databricks 笔记本并运行它以在 Azure 数据工厂中执行传输数据任务的两个 Azure 文档列表,如下所示。我认为这将帮助您实现您的需求。

  1. 在 Azure 数据工厂中使用 Databricks Notebook 活动运行 Databricks 笔记本
  2. 通过运行 Databricks 笔记本转换数据
于 2019-09-13T07:19:39.053 回答