databricks - 如何删除已从 Azure Databricks 工作区中删除的库

Question

删除使用“在所有集群上自动安装”选项添加的库 jar 后，该库仍会自动安装在工作区中的所有集群上。我需要删除或禁用库的自动安装行为。

我将一个库从 Maven 导入到我的 Azure Databricks 工作区。新版本出来后，我添加了新版本，并从工作区中删除了旧版本的 jar。

旧版本以“在所有集群上自动安装”行为添加到工作区，即使 jar 从 GUI 中消失，它仍会安装在工作区中创建的所有新集群上。由于 jar 消失了（从 GUI 中），我无法更改 jar 的“在所有集群上自动安装”行为，并且 Databricks 不允许您从集群中手动分离自动安装的库（从集群视图）。

我尝试从 Maven 中心读取相同的库（相同版本）并将新 jar 安装在集群上，以查看它是否覆盖了旧安装，希望我能以这种方式改变行为。不幸的是，当我尝试将新下载的版本添加到已经自动安装了库的集群中时，安装会无限期地卡在挂起状态。

关于如何在无需设置新工作区的情况下解决此问题的任何想法都会很棒。

score 3 · Accepted Answer

这是 Databricks 中的一个错误（看起来它已经存在很长时间了！）。如果您勾选了在所有集群上自动安装，然后删除共享库，则会将其安装在所有新集群上并且无法卸载。

要卸载它，请转到共享工作区并创建一个新库。输入完全相同的包，然后单击创建。在下一个屏幕上，您现在可以取消选中“在所有集群上自动安装”并将其从已安装的集群中删除。然后，您可以将新库移至回收站。

score 1 · Accepted Answer

几个选项。首先检查集群中的库选项卡，看看是否可以从那里删除它。如果没有打开笔记本并运行：

%fs ls "/FileStore/jars/

这是缓存库的地方。如果您可以确定哪个是您的库，则可以将其删除并重新启动集群。

2 回答 2