我想使用databricks cli:
databricks clusters list
但这需要一个需要与用户进行交互工作的手动步骤:
databricks configure --token
有没有办法在没有人工干预的情况下使用 databricks cli,以便您可以将其作为 ci/cd 管道的一部分运行?
我想使用databricks cli:
databricks clusters list
但这需要一个需要与用户进行交互工作的手动步骤:
databricks configure --token
有没有办法在没有人工干预的情况下使用 databricks cli,以便您可以将其作为 ci/cd 管道的一部分运行?
您可以只导出变量 DATABRICKS_HOST 和 DATABRICKS_TOKEN。使用这些变量,您不需要配置文件。
以下 bash 脚本自动配置了 databricks cli:
echo "configuring databrick-cli authentication"
declare DATABRICKS_URL="https://westeurope.azuredatabricks.net"
declare DATABRICKS_ACCESS_TOKEN="authentication_token_generated_from_databricks_ux"
declare dbconfig=$(<~/.databrickscfg)
if [[ $dbconfig = *"host = "* && $dbconfig = *"token = "* ]]; then
echo "file [~/.databrickscfg] is already configured"
else
if [[ -z "$DATABRICKS_URL" || -z "$DATABRICKS_ACCESS_TOKEN" ]]; then
echo "file [~/.databrickscfg] is not configured, but [DATABRICKS_URL],[DATABRICKS_ACCESS_TOKEN] env vars are not set"
else
echo "populating [~/.databrickscfg]"
> ~/.databrickscfg
echo "[DEFAULT]" >> ~/.databrickscfg
echo "host = $DATABRICKS_URL" >> ~/.databrickscfg
echo "token = $DATABRICKS_ACCESS_TOKEN" >> ~/.databrickscfg
echo "" >> ~/.databrickscfg
fi
fi
正如上面@usingnamespace 和官方文档中提到的:
CLI 0.8.0 及以上版本支持环境变量,环境变量设置优先于配置文件中的设置。
DATABRICKS_HOST
DATABRICKS_USERNAME
DATABRICKS_PASSWORD
DATABRICKS_TOKEN
这样,您不仅不会在明文文件 ( ~/.databrickscfg ) 中公开敏感数据,而且不需要向脚本中添加更多代码。
这是脚本的 PowerShell 版本。
write-host Configure databricks access
$Env:DATABRICKS_CONFIG_FILE = "$(System.DefaultWorkingDirectory)/.databrickscfg"
Set-Location $(System.DefaultWorkingDirectory)
Set-Content .databrickscfg "[DEFAULT]"
Add-Content .databrickscfg "host = https://westeurope.azuredatabricks.net/"
Add-Content .databrickscfg "token = $(db-token)"