问题标签 [copy-activity]

SQL 源和接收器之间的复制活动中的动态列映射工作正常。

我想在源中不存在的目标表中添加一个默认值，如当前日期。

如何在 json 中添加默认值，以便能够在目标列中加载默认日期。

附上映射中使用的Json：

我想在源中不存在的 jason 中添加今天的日期。杰森中的哪个编辑会有所帮助。

我在文件夹中有多个 csv 文件，如employee.csv、student.csv 等，.. 带有标题而且我还有所有文件的表格（标题和表格列名都相同）。

员工.csv

id|name|is_active

1|拉贾|1

2|阿伦|0

学生.csv

身份证|姓名

1|拉贾

2|阿伦

表结构：

员工：

id INT，名称 VARCHAR，is_active BIT

学生：

id INT，名称 VARCHAR

现在我正在尝试使用 foreach 活动对所有文件进行复制活动，成功复制了学生表，但是在读取employee.csv 文件时，员工表未复制其抛出错误。

错误信息：

{"Code":27001,"Message":"ErrorCode=TypeConversionInvalidHexLength,将列名 'is_active' 的值 '0' 从类型 'String' (precision:, scale:) 转换为类型 'ByteArray' (precision: 0，比例：0)。附加信息：“，EventType”：0，“Category”：5，“Data”：{}，“MsgId”：null，“ExceptionType”：“Microsoft.DataTransfer.Common.Shared。 PluginRuntimeException","Source":null,"StackTrace":"","InnerEventInfos":[]}

我已经使用 Portal UI 创建了一个复制活动管道，可以很好地使用查询作为源。当我使用 .net sdk 尝试此操作时，我不知道如何在复制活动中使用查询，任何人都可以帮我解决这个问题。

我有多个 csv 文件和多个表。表名是文件名，列名是csv文件的第一行。

现在我想将空字符串的默认值添加到接收器表中。

考虑我的情况，

员工： id int，name varchar，is_active bit NULL

员工.csv：

id|name|is_active

1|拉贾|

现在我正在尝试将 csv 数据复制到 PostgreSQL 表中，它的抛出错误。如果其值为空，则预期结果为默认值。

我正在执行一项复制活动，以使用 Azure 数据工厂将数据引入 Azure 数据湖。文件格式为压缩（.gz）格式。

我想复制这些文件，但想将格式更改为 .json 而不是以相同的原始格式复制（.gz 文件包含在 .json 文件中）。

是否有一种机制可以在 Azure 数据工厂中完成这项工作？我想执行此操作，因为在进一步的 ETL 过程中，我将面临 .gz 格式的问题。

任何帮助都会很棒。谢谢你。

我需要构建 POC（概念证明）以每天将 excel 文件从 SFTP 复制到 Azure blob 存储。我已经在我的本地机器上设置了集成运行时，但是要访问 SFTP，IP 地址需要被列入白名单。这种设置的问题在于，只要机器重新连接到互联网，IP 就会不断变化。我在下面有几个疑问 -

1. 当服务在本地计算机上处​​于活动状态时，是否可以将自托管 IR IP 地址设为静态？
2. 一旦 POC 完成，我需要创建一个专用于运行自托管 IR 的 VM，因为我们在当前系统中没有任何 VM。有没有其他方法可以从 SFTP 服务器中提取数据而不会产生 VM 成本？
3. 如果我需要通过 VM 方式获取数据，我正在考虑仅在要执行复制时启动 VM，即在管道触发之前并在复制活动完成后结束。这个选项在实施设置工作、成本效益（与全时可用的 VM 相比）方面的可行性/可行性以及这如何导致 IP 白名单？

我有一个带有复制活动的 Azure 数据工厂管道。Source 是一个 JSON 文件（也有一些生成的管道变量），而 Sink 是一个 Cosmos SQL 集合。在映射之前，我导入了架构，并且已将接收器集合中的特定字段识别为带有字符串元素的数组 [] 类型。

然而问题是这个字段映射现在只接受一个字符串而不是一个字符串数组。我不确定这是否是 ADF 的错误，或者与我如何为此映射生成源变量有关。

如果源变量 accessGroups 是字符串，则副本可以正常工作（它不应该是正确的？？？）。但是，如果我将其替换为包含字符串数组的变量，则会出现以下错误：

无法将“value”属性中的值转换为“System.String”类型。请确保有效负载结构和值正确。对象必须实现 IConvertible。

为了清楚起见，我将源变量 accessGroups 映射到 ['accessGroups'] 而不是 ['accessGroups'][0]。此外，ADF 无论如何都不允许将源变量映射到单个数组元素。

有没有人遇到过这个问题或知道任何解决方法？

我有来自 JSON API 的数据，这些数据在移动到目标表之前保存在临时表中。目标列的数据类型是datetime，临时表中的源列是 varchar(512)。由于 varchar (512) 到 datetime 之间的数据类型转换，我在调试时出错。以下消息是错误消息：

ErrorCode=TypeConversionFailure，将列名“start__date”的值“2021-09-16T07:58:39.187+07:00”从“String”类型（精度：255，比例：255）转换为“DateTime”类型时发生异常（精度：23，比例：3）。附加信息：字符串未被识别为有效的日期时间。

我在 SSMS 中尝试过：

和错误信息

消息 241，级别 16，状态 1，第 7 行从字符串转换日期和/或时间时转换失败。

完成时间：2021-11-02T20:51:31.5345885+07:00

临时表的外观completion time和值具有相同的模式。datetime2我在 SSMS 中再次尝试了 它，它可以工作。这是结果2021-09-16 07:58:39.187

我假设数据类型是默认的，但可以更改。第一次尝试和错误。

然后，我将 JSON 中的格式更改Code为datetime2. 第二次尝试仍然没有运气。

这是我的目标表

如何解决 ADF 中的这种数据转换，copy data？

我正在使用复制数据活动将数据发送到 Azure Data Lake Storage Gen2。为此，我必须每天创建一个以当前时间戳结尾的新文件夹。所以今天我的管道启动，在存储资源管理器的正确路径中，我应该看到：

文件夹名称_2021-11-02

我不在乎格式，我只需要日期。在“路径”（复制数据活动的“接收器”部分）中，我写道：

@parent_folder/folder_name_utcNow()

但我收到以下错误：@parent_folder/folder_name_utcNow() 无效：不希望出现位置 '13' 处的字符串字符 '/'。

我正在尝试使用“复制活动”将 XML 复制到数据库中。

XML 文件具有嵌套结构，因此我在“房间”级别定义了“集合引用”：

如果数组 Copy Activity 中有几条记录可以正常工作：

但是当数组中只有 1 条记录时 Copy Activity 不会复制任何内容：

是否有解决方法/解决方法？