terraform - 如何从 Azure Databricks 群集中删除库

Question

我正在使用 terraform 来配置 databricks 集群。我正在定义要安装的库，并通过提供逗号分隔的库在 terraform 脚本中犯了一个错误。

在 main.tf 中

library {
  pypi {
    package = "fbprophet==0.6,pandas"
  }
}

安装失败，但无法从库列表中删除失败的安装。

当我尝试使用 terraform (apply/destroy) 做任何事情时，我收到以下错误：

$ terraform apply
module.azurerm-databricks-instancecluster.databricks_cluster.cluster: Refreshing state... [id=0517-053850-sniff405]
╷
│ Error: library_pypi[fbprophet==0.6,pandas] failed: java.lang.RuntimeException: ManagedLibraryInstallFailed: org.apache.spark.SparkException: Process List(/databricks/python/bin/pip, install, fbprophet==0.6,pandas, --disable-pip-version-check) exited with code 1. ERROR: Invalid requiremrocess List(/databricent: 'fbprophet==0.6,pandas'                                                                                                                    pandas'
│  for library:PythonPyPiPkgId(fbprophet,Some(0.6,pandas),None,List()),isSharedLibrary=false

关于如何解决这个问题的任何想法？

Answer 1

从 Azure Databricks 群集中删除库的步骤：

步骤 1：选择要删除的库。

第二步：点击卸载并确认

Step3：重启集群以移除库

从集群中卸载库时，仅当您重新启动集群时才会删除该库。在您重新启动集群之前，已卸载库的状态显示为Uninstall pending restart。