我正在使用 Databricks CLI 在 Azure 发布管道中配置集群和设置库,作为 Azure CLI 任务的一部分,其中/bin/bash 作为解释器。在一个地方,我正在尝试使用 databricks fs ls 命令在 dbfs 路径中列出与特定文件名模式匹配的 jar 文件,并将该文件的名称存储在 unix 变量中。
databricks fs ls dbfs:/fs/jars/*<pattern>*.jar --profile <profile_name>
此代码失败,因为 dbfs ls 只需要一个目录作为参数,而不是文件模式。
我尝试了其他组合,例如:
grep *<pattern>*.jar < <(databricks fs ls dbfs:/fs/jars/ --profile <profile_name>)
和
grep *<pattern>*.jar | cat < <(databricks fs ls dbfs:/fs/jars/ --profile <profile_name>)
但无济于事。
然而,命令
cat < <(databricks fs ls dbfs:/fs/jars/ --profile <profile_name>
单独工作很好。
问题是:如何将 unix 命令与 databricks CLI 命令结合使用?