问题标签 [spark-bash-azure-databricks]

在 Azure Databricks 中，在笔记本中使用 %sh 作为魔术命令时，如何访问小部件中设置的值？

我在下面找不到有关如何执行此操作的任何信息。

https://docs.microsoft.com/en-us/azure/databricks/notebooks/widgets

我正在尝试将 Azure Blob 存储容器挂载到 DBFS。实现如下。得到以下错误。不知道为什么我收到错误 您是否删除了挂载点的 AWS 密钥？ 当我尝试连接到 azure blob 存储时。

我在这里有什么遗漏吗？你能帮我解决这个问题吗 - 谢谢 -

代码实现

错误

我有包含 SQL 命令的 Azure Databrick 笔记本。我需要捕获 SQL 命令的输出并在 Dot Net 核心中使用。需要帮忙。

好吧，这很奇怪。我有一些我想在集群启动时运行的初始化脚本

集群有 init 脚本，它在一个文件中（在 dbfs 中）

基本上这个

现在，当我像这样制作初始化脚本时，它可以工作（我的端点没有 ssl 错误。此外，集群的事件日志显示初始化脚本的持续时间为 1 秒

但是，如果我只是将 init 脚本放在 bash 脚本中并通过管道将其上传到 DBFS，那么 init 脚本不会做任何事情。它根据事件日志执行，但执行持续时间为 0 秒。

我在一个名为的文件中有 sh 脚本

内容同上，即

但是当我检查 /usr/local/share/ca-certificates/ 时，它不包含 /dbfs/orgcertificates/orgcerts.crt，即使集群初始化脚本已经运行。

另外，我在两种情况下都比较了初始化脚本的内容，至少肉眼比较，我不知道有什么区别

IE

在两个场景中显示相同的内容。第二种情况有什么问题？

编辑：我阅读了更多关于初始化脚本的内容，发现初始化脚本的日志写在这里

查看该位置的 err 文件，似乎有错误

为什么在第一种情况下会发现 update-ca-certificates 但当我将相同的脚本放在 sh 脚本中并将其上传到 dbfs 时（而不是在笔记本中执行 dbutils.fs.put）？

编辑2：响应第一个答案。运行命令后

输出是文件 custom-cert.sh，然后我使用初始化脚本位置作为 dbfs:/databricks/init-scripts/custom-cert.sh 重新启动集群，然后它就可以工作了。因此，它本质上与 init 脚本正在读取的内容相同（即生成的 sh 脚本）。如果我不使用 dbfs put 而是将内容放入 bash 文件并在 CI/CD 过程中上传，为什么它无法读取？