databricks - 如何在 databricks initscript 中访问机密

Question

我试图{{secrets/secrectScope/Key}}在databricks集群的高级选项卡中访问秘密，它工作正常。但是当我尝试在 databricks 初始化脚本中使用它时，它不起作用。

这样做的步骤是什么？

Answer 1

关于秘密参考（所谓的“秘密路径”）的语法，另一个答案是正确的，但它不适用于 init 脚本，尽管它适用于 Spark 代码本身。

要将秘密传递给初始化脚本，您需要将秘密路径放入 Spark 配置选项卡的“环境变量”部分，如下所示：

之后，您可以在 init 脚本中按名称使用变量：

if [ -n "$SECRET_VAR" ]; then
  do_something_with_it
fi

Answer 2

以下是在 databricks initscript 中访问机密的步骤：

1. 前往集群
2. 单击集群信息旁边的编辑。
3. 在配置集群页面上，单击高级选项。
4. 在Spark选项卡上，输入以下 Spark Config：

示例 ini 代码：

 fs.azure.account.auth.type.chepragen2.dfs.core.windows.net OAuth
 fs.azure.account.oauth.provider.type.chepragen2.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
 fs.azure.account.oauth2.client.id.chepragen2.dfs.core.windows.net {<!-- -->{secrets/KeyVaultName/ClientID}}
 fs.azure.account.oauth2.client.secret.chepragen2.dfs.core.windows.net {<!-- -->{secrets/KeyVaultName/ClientSecret}}
 fs.azure.account.oauth2.client.endpoint.chepragen2.dfs.core.windows.net https://login.microsoftonline.com/<Directory_ID>/oauth2/token

有关更多详细信息，请参阅Azure Databricks - 配置群集以从机密范围读取机密。