问题标签 [azure-data-factory-pipeline]

我在 blob 中有两个示例文件，分别为 sample1.csv 和 sample2.csv，如下所示

数据样本

SQL表名sample2，带列Name,id,last name,amount

创建了一个没有架构的 ADF 流，结果如下

预览数据

源设置允许检查架构漂移。接收器设置已打开自动映射。允许插入检查。表操作无。

我也试过在数据集中设置一个定义模式，它的结果是一样的。

这里有什么帮助吗？

我的预期结果是 sample1 中的数据将 null 插入“姓氏”列

阅读网络后，我有两个选择

1. 使用 ADF 将数据从 SQL 服务器复制到 Azure 突触分析。
2. 将数据复制到 Blob 存储，并从那里使用外部表将数据复制到 Azure 突触分析。

这两个最好的方法是什么？

是否可以将“使用 ADF 将数据复制到 Blob 存储复制数据到 Azure 突触分析”作为另一种选择？

我使用查找活动将值传递给每个迭代活动。Lookup 的输出值是从 SQL 表生成的。一旦迭代开始，如果 for each 中的一个活动失败，for each 迭代器尝试运行它的次数，查找输出值可用。我如何摆脱困境？我已经从 SQL 表中删除了记录，以退出循环，但循环继续运行。当内部活动失败时，如何清除 For Each Items 设置？

问候，桑迪普

我有一个元数据驱动的管道和一个映射数据流来加载我的数据。当我尝试运行此管道时，出现以下错误。

当我调试映射数据流时，数据流中的所有组件都按预期工作。

我猜我的源连接参数没有正确通过。以下是我的源连接的电子邮件

如果您有任何想法和问题，请告诉我

我有一个带有这种格式的镶木地板文件的 ADLS Gen2 帐户（已启用 HNS）：

我想使用 Azure 数据工厂将最低级别的 parquet 文件合并到一个文件中，最终结构应如下所示。

如果我使用“复制数据”活动，我只能在“合并文件”和“保留 Hiracie”之间进行选择。有没有办法做到这一点？感谢您的帮助！

azure 数据工厂中是否有一种方法可以直接将 getmetadata 活动子项直接插入 sql 表而不使用任何控制活动？

任何帮助，将不胜感激。

问候，桑迪普

我已经开发了一个流程来运行存储流程，只有在存在某个文件的情况下。我使用验证来实现这一点。验证检查文件是否存在，如果存在，则启动该过程。但是，问题是，如果文件不存在，它会创建一个错误（状态为错误，并且消息是“对目标检查 SRManifest 存在的操作失败：”），即使在我添加了等待之后也是如此。我想要发生的是，如果文件不存在，则需要停止进程。感谢是否有人可以帮助我实现。以下是现有流程。

验证设置如下：此外，属性如下

我在 ADLS Gen2 中有多个 Parquet 文件，Parquet 文件具有不同的列/模式，但所有不同的模式都相互兼容。当我在 ADF 中创建数据集时，它仅检测 68 列中的 26 列（在每个 parquet 文件中找到 26 列）。如果我使用 pyspark 读取文件，我可以使用以下几行来动态合并不同的模式。

parquetFile = spark.read.option("mergeSchema", "true").parquet("./data/*/*/*/*/*/")

有没有办法在 azure 数据工厂中进行类似的设置？

谢谢你和亲切的问候

我正在尝试通过克隆现有管道来创建新管道。在门户中，我可以简单地使用克隆选项并进行进一步修改。我需要使用 Python 自动执行克隆管道的任务。如果有人给我指点，这将非常有用。

我已经做过的步骤：

1. 打开我现有管道的代码部分并复制 JSON 文件。我正在尝试以编程方式更改 JSON，例如管道名称和变量值。当我发回请求时，它会提供无效的数据集链接。我为此遵循了 MS 文档。由于在 MS 文档中，他们都是从头开始创建的，它可能会起作用，但我在这里有兴趣重用现有的数据集和链接的服务。
2. 我不想从头开始创建 ADF 管道，因为我已经有了有点复杂的参考管道。

任何建议都会很有用。

我有一个 DelimitedText ADF 数据集。它是管道分隔的。当我在管道中将其用作复制数据活动的源并将文件数据写入 SQL 数据库表时，空白值被加载为 NULL。

我怎样才能避免这种情况？我希望空白值读取为空白值并作为空白值写入数据库表。

我尝试将 NULL 值保留为空白和 "treatEmptyAsNull": false in dataset json; 两者都没有工作。

有什么建议么？