azure - 无法在 azure synapse analytics sparks pool 上上传工作区包和 requirements.txt 文件

Question

当尝试通过应用上传的requirements.txt文件和自定义包在火花池级别导入 python 库时，我收到以下错误，没有其他详细信息：

处理请求时发生 CreateOrUpdateSparkComputeFailed 错误

几天前它工作得很好。上次上传成功于 2021 年 12 月 3 日。

应用程序作业也SystemReservedJob-LibraryManagement没有被触发。

环境细节：

• Azure 突触分析
• Apache Spark 池 - 3.1

我们尝试了以下事情：

1. 将 vcore 大小增加到 200
2. 将相同的包上传到不同的订阅资源，它工作正常。
3. 增加了火花池的大小。

请建议

谢谢

Answer 1

确保您的 requirements.txt 中有以下软件包

在此之前，我们需要检查已安装和未安装的软件包。您可以通过运行以下代码行来获取软件包安装的所有详细信息，并且可以断定缺少哪些软件包并将它们保留在适当的位置：

import pkg_resources 
for d in pkg_resources.working_set: 
    print(d)
 

使用 Requirement.txt 安装缺少的库。

我遇到了类似的用例，我从MS Docs获得了很好的信息和步骤过程，看看它来处理工作区库