问题标签 [copy-activity]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
24 浏览

azure-data-factory-2 - 复制活动 在 ADF V2 中输出 blob 容器和其他详细信息

我正在尝试使用复制活动将一些文件从旧系统文件夹转移到 Azure Blob 存储。复制文件后,我想在 Blob 存储中检索其存储的详细信息并将详细信息写入表中。我将如何实现这一目标?

这是我到目前为止所拥有的:

  1. 对于每个活动(从旧数据库中获取文件和文件夹名称的列表)
  2. 复制活动(将文件从源复制到 blob 接收器)
  3. 这就是我卡住的地方。我现在需要将以下详细信息存储在接收器数据库表中以指向新复制的 blob: [BlobName] ,[ContainerName] ,[SizeBytes] ,[Name] ,[FileExtension] ,[MimeType]

我现在如何从复制活动中获取这些信息?

我查找了“其他属性”。这似乎只有文件路径,而不是其余的。GetMetadata 似乎是您设置的值。

感谢您的任何帮助/指导。

0 投票
0 回答
27 浏览

escaping - Azure 数据工厂/Azure Synapse Copy 活动 - 数据中已经存在的转义列分隔符

我正在将 Azure blob 中的一些数据从 JSON 格式转换为管道分隔的文本文件,这些文件将存储在 ADLS 中。我使用管道(|)作为我的列分隔符。有一些数据中已经有管道 (|),这会在进一步解析这些文本文件时产生问题。例如我的数据是-

因此,当我在复制活动中使用复制活动将这些 JSON 转换为文本文件时,我会得到类似这样的信息 -

这造成了一个问题,因为为了进一步解析这个文本文件,只读取了两列。所以,我希望数据中的管道被转义。文本文件应如下所示 -

我尝试过使用复制活动的设置 - 分隔文本接收器,例如声明转义字符或引号字符,但似乎没有任何效果。有没有人知道如何从复制活动中实现这种数据操作?

0 投票
1 回答
21 浏览

date - 数据工厂 - 我可以使用 CSV 中的日期字段来确定复制活动中的目标文件夹吗

我有一些 CSV 文件,我想根据文件中的日期列将它们复制到 ADLS 中的特定文件夹。

即 CSV 文件有一个名为“日期”的列,在所有行上都显示为“2022-02-23”。我想将该文件复制到具有相应年份和月份的文件夹中,例如“/curated/UK/ProjectABC/2022/02”

我有一个查找活动,它指向源 CSV 文件并使用此动态内容填充月份的 Set Variable 活动 - @substring(string(activity('Lookup1').output.firstrow.date),5,2)

这是使用变量的正确方法吗?

据我所知,我不能在接收器数据集的目录部分中使用变量。

你以前遇到过这种情况吗?

0 投票
1 回答
33 浏览

api - 在 Azure 数据工厂中如何读取 XML 响应

由于我是 ADF 的新手,正在寻找从 API 读取/接受 XML 响应的正确方法。

使用复制活动尝试了以下活动,

  • 休息,链接服务。链接服务连接成功,但在预览错误时, 在此处输入图像描述

  • HTTP,链接服务。链接服务连接成功,但在预览错误时, 在此处输入图像描述

  • OData,链接服务。无法连接到链接服务错误:无法创建到 RequestUrl 的 odata 连接。 在此处输入图像描述

如果有人可以分享有关如何在 ADF 中使用 XML API 响应的文档或参考,那将会很有帮助。