问题标签 [azure-data-flow]

我在输出 json 文件的管道中有一个数据流。每次运行时，我都希望将 json 文件放在一个文件夹中，该文件夹动态地命名当前时间戳，直到文件夹运行的第二个。我尝试在输出数据集数据集文件夹路径设置屏幕截图的文件路径设置中放置一个 utcNow 函数。但我得到一个

“无法通过名称中包含冒号的 WASB 创建”错误。

即使我之前通过 Azure 存储创建了名称中带有冒号的文件夹。请帮忙。

我在 ADF 中使用“映射数据流”活动来提取和加载一些记录。我在数据流活动中创建了 2 个参数 - table_name、schema_name - 我试图用它们来使相同的活动适用于多个表。

在 Source 上的 Source Options 选项卡中（在数据流活动中），我有以下查询 -

我在调试时收到以下错误消息 -

有人对我做错了什么有任何想法吗？

我在 Azure 数据工厂的派生列操作中使用表达式生成器。我有一个 iif 语句，它根据 5 列是否为空来将对象添加到单个对象数组中。在 iif 语句中，如果对象不为空，它会将其添加到数组对象中，并且我没有指定当列为空时的操作。因此，如果 3 列有一个值，那么数组中应该有 3 个对象，但问题在于这 2 个空列在数组中显示为 2 个“空”值。我不想要那个。我只想干净地只拥有数组中的 3 个对象。如何将空值转换为空格，或者有更好的方法来完成这项工作？

我需要使用 Azure 数据工厂 V2 数据流将选定的 Excel 表列连接到单独的列中。

在使用数据流的数据工厂 v2 中，我们可以使用派生列转换创建和更新现有列。

我有以下excel文件：

使用 Azure 数据工厂数据流，我需要将文件转换为以下内容：

请让我知道这是否可以在派生列数据流转换中实现

我们使用 Azure 数据流在 Azure SQL 数据仓库中生成数据表的历史记录。在数据流中，我们在所有列上使用 md5 或 sha1 函数来生成唯一的行指纹以检测记录的变化，或识别已删除/新的记录（相当标准的历史技术）。

对于某些数据表，我们有包含十进制值的列（例如数据类型 DECIMAL(18,1)）。如果我查看在一个整数、一个文本和一个十进制列上生成的 md5 哈希，我希望这三行在 Azure 数据流中生成不同的哈希：

但是，这三行得到完全相同的哈希，这意味着我们无法检测到 [id] = 1 的记录的字段 [value] 的变化。如果十进制值作为文本存储在数据库中 (或在 md5 函数中转换为字符串），哈希值不同：

这导致我们的一些历史表没有准确记录数据，其中只有小数列中的值发生了变化。

我的问题：有人知道这是否是 Azure 数据流的“设计”，还是需要由 Microsoft 修复的错误？

我正在尝试使用 Data Factory V2 将 Json 文件加载到 SQL Server。需要将类型数组的集合引用保存到 SQL Server 中的字符串。在下图中，“字段”对象由多个字段组成。我需要将对象“关键字”作为字符串类型存储在映射到单个列的 SQL Server DB 中。我无法将“关键字”或“字段”映射到列

在 Azure 数据流中，是否可以在聚合转换中动态包含分组依据中的列？我有 8 列可能需要在 Group By 中，具体取决于它们的值，即如果值为 1，则包含在 Group By 中。

简化为 2 列：

我有一个简单的数据流，可以将一个表复制到 azure sql 数据库中的另一个表，

所有链接的服务和数据集都创建得很好，但是当我在管道中运行我的数据流时，我只是得到一个失败的状态。

数据流失败的管道图像。

有什么常见的错误导致这种情况发生，门户中的某个地方是否有更详细的错误日志？

我正在使用以下数据集来测试映射数据流：https ://github.com/fivethirtyeight/data/tree/master/avengers 。

我的数据流很简单；一个源（AzureDataLakeStorageGen2 上的分隔文件）移动到一个接收器（AzureDataLakeStorageGen2 上的镶木地板文件）。我已经使用导入投影功能来获取我的架构并设置值“验证架构”。我得到一个假设看起来是正确数据类型的投影。值得注意的是，指向此源的数据集将所有列指定为字符串，因此数据集的导入架构与源数据流转换的导入架构之间显然存在脱节。看到这张图片。 数据流源投影

如果我尝试使用“验证架构”选项，我会遇到问题。我得到的第一个问题是我在任何不是字符串的数据类型上都收到错误。例如，当使用“数据预览”或在管道中运行数据流时Error: at Source 'AvengersHeader': Column 'Appearances has incompatible types( Found: StringType, Required: ShortType)。我曾认为这是由于标题行，但是使用值为 1 的Skip line countError: at Source 'AvengersHeader': Missing column 'URL排除它会给我一个新错误，例如。

源文档状态

验证架构：如果选择了验证架构，如果传入的源数据与数据集的定义架构不匹配，则数据流将无法运行。

我曾假设这会查看数据类型，但现在想知道这是否只是提供的列。

对于接收器文档，我指出

验证架构：如果选择了验证架构，如果在源投影中未找到传入源架构的任何列，或者数据类型不匹配，则数据流将失败。使用此设置强制源数据符合您定义的投影的合同。在数据库源场景中表明列名或类型已更改很有用。

我注意到几点：

1. 这指定了源中的更改
2. 它指定源类型不匹配，但这似乎没有这样做。

那么我的问题是，任何人都可以指出详细说明预期行为和用法的特定文档吗？无论是官方 MS 文档还是博客，我都不挑剔。如果有人想投入他们的 2 美分/便士，那也没关系。

进一步来看，我已经探索了派生列，然后是条件拆分，但这可能非常耗时：

条件拆分转换查找符合并写入它们的行，在别处写入格式错误的行。
虽然这行得通，但我不确定我是否会这样做，而不是使用 _corrupt_record 的数据帧感觉它会更容易地解决我的问题，提出为什么我要尝试在映射数据流中进行验证的问题？

我在 Azure 数据工厂的数据流中有过滤器，我需要为以下 SQL 逻辑（Where 语句）编写表达式：