问题标签 [azure-data-flow]

我的 Azure Blob 存储中有一个 CSV 文件，其中包含所有列名及其相应表的数据数据类型。

我想从此 Blob 文件在 SQL 数据库中创建一个表，该表具有相同的列名及其相应的数据类型，而不进行映射。

我已经通过数据流创建了一个表，但我必须手动设置每一列的数据类型。但我不想这样做。当我创建一个表时，它应该接受源中相同的数据类型以及 CSV 文件中给出的同步。

[ ]

[ ]

当我导入架构时，它需要完整的列ID (int)和数据类型，String但是当我导入架构并创建一个表时，它会使用列名ID和数据类型，INT并且它将对多个表执行相同的所有列名。

如果您有解决此问题的方法，请告诉我。

我有一个要求，我必须将选择转换输出从一个数据流（数据流）直接传递到另一个数据流。

例子：

1. 我有一个带有 SELECT 转换作为最后一步的数据流。

2. 我有另一个数据流需要将上述 SELECT 转换输出作为输入。

3. 目前，我将第一个数据流的输出存储到一个表中，并从第二个数据流中的表中获取数据，这需要很长时间才能执行。我想避免存储到表中。

谢谢， 卡提克

我正在通过数据流实现 SCD Type2。我已经在其中创建了一个参数，我将在其中传递一个列名，以及我在关键列的接收器转换中使用的这个参数。

在数据流的键列中传递参数

我选择了添加动态内容，然后选择了参数，之后我选择了我在数据流中创建的参数。然后它显示为"$Key_col"。但是当我运行管道时，它给了我一个错误-

{"message":"at Sink 'sink1'(Line 56/Col 6): 列操作数不允许在文字表达式中。详细信息：at Sink 'sink1'(Line 56/Col 6): 列操作数不允许在文字中表达式","failureType":"UserError","target":"Update_Existing_Records","errorCode":"DFExecutorUserError"}

谁能告诉我如何解决此错误或此问题的任何解决方法。

我有一个包含 10 个数据流活动的管道，每个活动都使用 AutoResolveIntegrationRuntime 默认集成集群。

当我触发管道时，每个数据流的集群启动大约需要 4 分钟，总共需要 40 分钟才能完成管道执行。我可以避免这种情况吗？如果是这样，怎么做？

谢谢， 卡提克

场景：我有 SQL DB CDC 网络更改进入 csv 文件。在 csv 文件中的每一行的管道中，需要检查更新、插入和删除，并在我的仓库数据库中进行一些更改。

管道：

映射数据流：

问题：

如何在数据流中使用 foreach 中的 item() 并从 csv 文件和进程中获取该记录。我在数据流的源步骤中没有看到任何字段/选项。

我可以在接收节点中的 pre 和 post SQL 脚本上使用 SQL 存储过程吗？如果是怎么办 如果不是有什么选择。

场景：而不是使用数据库触发器在插入和更新时做一些工作，我想使用映射数据流的这个特性来避免在目标表中写入批量数据时会产生问题的触发器。

没有参数传递给存储过程的工作快照

场景：azure 数据流处理来自 csv 数据集的批量记录。为了在目标 sql 上执行相关作业，需要从该 csv 的多行中使用逗号分隔 id。有人可以帮助如何做到这一点。

尝试使用带有合并、连接函数的派生列步骤，但没有得到想要的结果。

需要解决：如果列值从数据源中以 NULL 形式出现，则需要跳过，以免覆盖现有值。

场景：我正在处理主表和引用表的 CDC。根据主表在主表和参考 CDC 数据之间进行左连接，从两个表中获取 CDC 更改。在仅在主表中发生更改的情况下，在左连接中，参考数据将作为所有列的空值出现。在映射数据流中，目标中的引用列值被覆盖为 NULLS。

任何建议如何跳过数据流中具有空值的列？

左连接的原因是，很有可能只在表 1 而不是表 2 中发生变化。

用例：

尝试创建一个管道，该管道从源 SQL 接收批量数据，并基于一列下沉到目标 SQL 中的不同表。该列专用于目标中的表名。

我在数据流中声明了一个参数，该参数需要根据列值进行更新，并使用与接收器中的动态表名相同的值。

有什么想法吗 ？

我正在尝试使用更改行操作在 azure 数据流中清理数据框。我用 CSV 文件（5 列）创建了一个 blob 链接服务。然后创建如下数据流：请参考附图。

在此处输入图像描述

正如您在第三张图片中看到的那样，alterrow 仍然包含零列，而不是从源文件中提取列。谁能告诉我为什么会这样？