问题标签 [azure-data-factory-pipeline]

系统产生的错误

在图像中，您可以看到管道失败后系统生成的错误。但是，我想要一个自定义错误（用户因任何故障而更改/编辑的消息），它将在运行管道后弹出代替系统生成的错误。

我们每天在 azure 文件存储路径中有一个传入的 XML 文件，我们正在使用 ADF 复制活动将它们加载到 Azure SQL 数据库中。源是引用 XML 文件的 XML 数据集，接收器是数据库中的表。如果文件约为 500mb，则复制活动将在 3 分钟内完成。但是当我们尝试一个 680mb 的文件时，它运行了将近 5 个小时。我们无法找到时间大幅增加背后的原因。我们尝试更改 DIU 和并行度设置，但没有帮助。

• 知道为什么加载时间会大幅增加吗？
• ADF XML 复制活动是否有文件大小限制？
• 除了在 azure 函数中重写逻辑之外，还有什么方法可以减少处理时间？

任何帮助或建议表示赞赏！谢谢

我想问你是否可以在数据流中使用“输出插入”SQL语句（Azure数据工厂）

目前，我收到一个错误：

在源“source1”：shaded.msdataflow.com.microsoft.sqlserver.jdbc.SQLServerException：在不是 INSERT 语句的行的直接源的 SELECT 语句中不允许嵌套的 INSERT、UPDATE、DELETE 或 MERGE 语句.

使用此语句：

我做了什么：

我还检查了存储过程，但它们不提供任何输出。

我想要的是：

我想获得插入元素行的“Id”（一次操作中插入+选择）。

我想重命名一个文件，作为 ADF 管道的一部分。我目前可以通过使用新名称复制它并在复制后删除来做到这一点，但这对于大文件来说很慢。

有什么方法可以更快地做到这一点？

在我在这里提到的 ADF CI/CD 设置中，当我在删除一些资源（链接服务或管道）后部署到 ACC 或 PRD 时，它不会在 ACC 或 PRD 中被删除。但是我添加或编辑的那些东西是正确更新的。我该如何解决？

我请求您支持以下说明，我有一个场景，通过 Azure 数据工厂从多个 HubSpot 门户（例如智利、秘鲁、哥伦比亚等）读取数据。这是从 HubSpot 到 Azure SQL Server 的简单复制操作，但我坚持为上述多个区域门户重复单个复制活动。我为每个区域创建了一个单独的数据集，但不确定如何使用 Copy Activity 对其进行迭代。

有没有办法将 Azure 数据工厂 Web 活动的输出保存到数据集中？

这是我当前的用例：

1. 我必须动态构建一个 JSON 发布请求
2. 我尝试访问的 API 需要 SSL 证书，因此我必须使用 Web Activity Authentication Client Certificate 选项。
3. API 还需要基本身份验证，因此我在 Web 活动的标题部分输入 Content -Type 和授权 guid。
4. 从我的 post 请求中获得 JSON 响应后，我需要将响应保存到某个位置的 blob 存储中。

我尝试使用复制数据集 HTTPS 或 Rest API 作为数据集源，但两者都只允许一种类型的身份验证证书或基本身份验证。

有没有办法可以配置 Rest API 或 HTTPS 数据集源处理两种类型的身份验证（SSL 和基本授权）或将所有 Web 活动输出捕获到 blob 存储中？

谢谢大家的帮助！我现在很绝望lol

这是我的网络活动的样子（抱歉，出于安全目的，我隐藏了部分凭据：

我有一个 ADF V2 管道，仅在上午 7 点到下午 5 点之间每小时运行一次。到目前为止，我一直在使用每小时运行的“事件”触发器，这很好。但不知何故，负载开始运行了一个多小时。结果，下一个负载将在前一个负载仍在运行时开始。

我一直在尝试使用“Tumbling Window”触发器来创建对此管道的自依赖，以便它在运行之前等待前一个完成但无法使其工作。

如果有人对如何解决这个问题有一些经验，任何见解都将不胜感激。

当一项活动因未经授权而失败时，它会返回下面带有错误请求代码的错误消息 - 而不是 401 错误。有没有更好的方法可以捕获 ADF 中的错误消息

我正在实现一个验证数据集模式的功能。我知道在 ADF 中的 Mapping Dataflow 部分中有一个复选框，如果列或列的类型与引用不匹配，它会自动执行此操作。对于 CSV，它对我来说很好，但对于 JSON，我注意到两件事：1，当我为 JSON 创建一个数据集时，它的模式与我在映射数据流中看到的不同，尽管我使用相同的数据集。我在两个（数据集和数据流）位置都尝试了从示例文件导入、导入投影等的每个选项。没有成功

在数据集的最后，我通过编辑 JSON 的 JSON 在代码部分手动更改了它:)

2，最后它在拥有相同的模式后并没有解决问题，它在模式验证期间仍然失败。

但是，在错误消息本身中，如果您看到屏幕截图，它会显示相同的类型：

已找到：ArrayType(StructType(StructField(**Description1**,StringType,true),...etc 必填：ArrayType(StructType(StructField(**Description1**,StringType,true),...etc