所以我目前正在尝试为我的 Databricks 开发环境设置秘密。我已经使用 Databricks-cli 成功设置了这些。我现在正尝试在我的 spark jar 中使用这些（用 scala 编写）。然而，它需要在本地编译和在 ci/cd 管道中才能被实时推送。
但是我找不到位于哪个包dbutils中。
... = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE")
这是我正在尝试实现的用例，不胜感激！
问问题
1962 次
2 回答
2
你试过com.databricks.dbutils_v1.DBUtilsHolder.dbutils吗？我的 SBT 构建有一个"com.databricks" %% "dbutils-api" % "0.0.3"依赖项，它似乎引入了dbutils.
于 2019-03-27T16:44:47.733 回答
0
在 Databricks 中，当您的 jar 包含业务逻辑时，每个作业都从笔记本开始，应将其定义为附加到集群的库。
启动笔记本通常使用dbutils然后调用业务逻辑代码将密码、连接字符串等作为函数的参数来处理所有外部参数。
所有机密仅存储在KeyVault中。在这里，您可以找到如何将 Databricks 机密范围与 KeyVault 集成
若要在本地运行代码，请使用 Azure CLI 从 KeyVault 检索并分配给环境变量作为每次运行前的准备步骤。
于 2019-02-07T23:45:48.277 回答