azure-data-factory - 如何将 Azure 数据流输出动态放置在以日期命名的文件夹中

Question

我在输出 json 文件的管道中有一个数据流。每次运行时，我都希望将 json 文件放在一个文件夹中，该文件夹动态地命名当前时间戳，直到文件夹运行的第二个。我尝试在输出数据集数据集文件夹路径设置屏幕截图的文件路径设置中放置一个 utcNow 函数。但我得到一个

“无法通过名称中包含冒号的 WASB 创建”错误。

即使我之前通过 Azure 存储创建了名称中带有冒号的文件夹。请帮忙。

Answer 1

我在数据流中测试了带有冒号和表达式的设置文件夹名称。

无论我们用冒号还是表达式设置文件夹名称，都会报错：

{"StatusCode":"DFExecutorUserError","Message":"Job failed due to reason: JSON parsing error, unsupported encoding or multiline","Details":"at Sink 'sink1': org.apache.spark.SparkException: Job aborted."}

根据错误信息，Data Flow 不支持带冒号的文件夹名称和表达式函数。

它仅适用于复制活动接收器数据集。