问题标签 [azure-data-flow]

我正在尝试使用 azure 数据流将数据加载到 Azure SQL 数据库中。但由于某种原因，我无法连接到我的接收器数据库。我已经尝试了一切，但没有运气。创建数据集时可以连接到 SQL 数据库，但是为什么在使用数据集作为接收器时无法连接到数据库。

请在下面找到我的流程片段：

但是当我想使用这个数据集加载数据流中的数据时，它给了我以下错误。我想将数据加载到 SQL 中的原因是我想删除行，而 CSV 和其他数据集不允许我这样做。

如果有人可以帮助我，我将不胜感激。

我有一个包含日期和字符串的数据集。我想提取日期，然后将其保存在date列中并在列中保存字符串task。我正在使用 azure 数据流来实现这种数据转换。

但这似乎对我不起作用并且Unable to parse the expression. Please make sure it is valid.出现错误。谁能帮我解决这个问题，好吗？

我正在尝试使用管道中的数据流将数据从Blob复制到Azure SQL 。数据文件为csv格式，标题位于csv 文件的第 4 行。我想使用 csv 数据文件中可用的标题。

我想遍历所有文件并上传数据。

谢谢

我目前正在开发一个非常有趣的 ETL 项目，使用 Azure 手动转换我的数据。但是，当我开始处理多个源文件时，手动转换数据可能会让人筋疲力尽且冗长。我的管道现在工作正常，因为我只有几个文件要转换，但如果我有数千个 excel 文件怎么办？

所以我想要实现的是我想扩展项目并使用逻辑应用程序提取来自电子邮件的 excel 文件，然后直接在它们之上应用 ETL。有什么方法可以在 Azure 中自动化 ETL。我可以在不手动修改不同类型数据的管道的情况下进行 ETL 吗？如何使我的管道灵活，以便能够处理各种类型源数据的数据转换？

预先感谢您的帮助。

我在 Azure 数据工厂中执行 ETL，我只是想在继续之前确认我对它的理解。请在下面找到图片。

我正在从多个源收集数据并存储在 Azure Blob 存储中，然后执行转换和加载。我感到困惑的是，就我而言，Azure Blob 存储是这里的登陆区还是暂存区。有些人可以互换使用这些术语，无法理解这两个术语之间的细微差别。

另外，谁能解释一下Extract，Transform和Load是哪一部分。在我的理解中，从多个源收集数据并存储到 Azure Blob 存储是提取，Azure 数据工厂是转换，将转换后的数据复制到 Azure 数据库是加载。我是正确的还是我在这里误解了什么？

我在 blob 中有两个示例文件，分别为 sample1.csv 和 sample2.csv，如下所示

数据样本

SQL表名sample2，带列Name,id,last name,amount

创建了一个没有架构的 ADF 流，结果如下

预览数据

源设置允许检查架构漂移。接收器设置已打开自动映射。允许插入检查。表操作无。

我也试过在数据集中设置一个定义模式，它的结果是一样的。

这里有什么帮助吗？

我的预期结果是 sample1 中的数据将 null 插入“姓氏”列

我创建了一个将 XML 转换为 JSON 的逻辑应用程序

逻辑应用进程

这项工作“很棒”，在该过程的那一部分没有问题-但是，这保留了一些？和某些列名中的 @ 符号。这在 Azure 数据流的下游不起作用，因为 @ 符号正在被拾取参数。

在此处输入图像描述

关于我如何替换的任何想法？和@符号在流程的第一点（逻辑应用程序）或在数据流中适应这些？

这就是数据流代码在 Script 元素中看到错误的方式 - ?xml 没有引发错误，但第一个 @ 是，并将 @version 显示为错误

我尝试使用 ADF 数据流将包含“630.180004119873”之类的数据的列转换为使用 toFlaot() 函数的浮点数据类型，但是当输出时我可以看到数据已转换为“630.18”。

有谁知道如何防止 ADF DataFlow toFloat 函数将结果保持为“630.180004119873”而不是转换为“630.18”？

代码如下： ADF 派生列设置

想知道通过 ADF 生成关系身份的最佳方法是什么。

现在，我正在使用没有任何身份信息的 JSON 数据。然后将此数据转换为具有关系（1..n 等）的多个数据库接收器表。由于某些目标接收器表的 FK 约束，这些关系需要一次“建立”一个。

这种方法似乎有点笨拙，所以我想看看是否还有其他我不知道的选项。

请注意，我需要为每个插入包含代理键生成。如果我不这样做，基于输出数据库模式，我将收到“无法插入 PK null”错误。

另请注意，我IDENTITY_INSERT为每个接收器打开/关闭。

我的数据流中出现了一个错误，该错误在触发器运行期间出现，而不是在我进行调试运行时出现。我有一个数据流，其中源是 Azure SQL 表。我在数据流中进行的转换会进行一些查找、过滤数据并将其加载到两个不同的 Azure SQL 表中。查找表也是一个 Azure SQL 表。所有 4 个表都在同一个 Azure SQL 数据库中。我已经完成了端到端的数据预览，并且转换工作正常。我在调试运行中端到端地处理了数据，我的最终表格正是我需要的。但是，当我运行计划的触发器时，数据流总是在大约 10 分钟后失败，并出现以下错误：

对目标 [Dataflow_Name_Here] 的操作失败：{"StatusCode":"DFExecutorUserError","Message":"连接已关闭。","Details":"连接已关闭。"}

我检查了所有四个表上的连接，它显示为数据流中所有 4 个的连接成功。奇怪的是，这个错误只在我手动触发管道而不是调试运行时出现。关于问题可能是什么的任何建议？