问题标签 [copy-activity]

我在 Azure 数据工厂中添加管道以将数据从 SQL 迁移到表存储。一切似乎都很好，但是我观察到位列没有按预期获得副本。我在 SQL DB 中有一个归档的“IsMinor”。

如果我不按原样为位列添加显式映射，则将其复制为null 如果我从 SQL 将其设置为“真”或“假”，则将其复制为StringTableStorage 中的布尔值而不是布尔值。

我还尝试在映射字段时指定类型，即“ IsMinor (Boolean)”，但效果不佳。以下是我的示例表

我希望将上面的位值复制为表存储中的“布尔值”而不是字符串。

是否可以使用自定义名称在 Azure 数据工厂中为管道的每次运行在 blob 存储中创建一个csv文件？

每个csv都必须在其名称中包含运行日期（我可以使用变量轻松设置），因为它具有与该日期相关的数据。

我不知道该怎么做，因为“复制”活动中的接收器属性允许选择一个已经创建的“接收器数据集”，但不能在每个管道运行中创建一个新的。

我想使用复制活动在 azure 数据工厂中将数据从一个表复制到另一个表。在源中没有约束，但在接收器上，我对年龄列有检查约束---> 检查（年龄> = 18）。我观察到的是，如果在复制活动运行以将数据从源复制到接收器时，即使一条记录由于检查约束而失败，整个复制活动也会失败，并且即使我已经给出了跳过选项，它也不会将任何行复制到接收器记录错误记录。

请给我解决方案，将所有好的记录加载到接收表中，并且所有由于检查约束而失败的记录都应该被跳过并记录在某处。

我正在尝试将数据表从本地 MSSQL 复制到 Azure SQL 表。

我在复制活动的接收器选项卡上的表选项设置为“自动创建表”（如果不存在，这将自动创建接收器表，并且不支持使用 blob 存储作为暂存。）

当使用上述设置执行时，它永远不会完成，它只是显示正在进行的状态。

但是当源不是 MSSQL 时，它可以正常工作。使用 CSV 文件和 Oracle db 进行测试。

如果我将表选项设置为无，我可以启用暂存，但现在它希望在加载之前定义目标表。

任何线索为什么它不适用于 MSSQL？

在复制活动中，设置中有一个功能，我们可以告诉系统在出现错误时要做什么。有 3 个选项可用。中止第一个错误记录，跳过所有错误行，跳过错误行并记录它们。我们能以某种方式实现以下功能吗？- 如果文件中有超过 10% 的记录抛出错误，则跳过该文件，否则加载

提前致谢

所以我有一个输入 CSV 表，我想将它复制到输出 CSV 表中。输出 CSV 表包含输入表中的所有列，以及一堆其他列。（稍后我会将数据复制到其他输入表中的数据中。）

当我运行包含我的复制活动的管道时，新输出表中唯一的列是输入表中的 5 列，我假设因为这些是映射中的唯一列。但是，我也尝试在复制活动的“源”部分中创建 15 个“附加列”——只是尝试诸如“测试”、\“测试\”、测试、@test、@pipeline() 之类的东西.DataFactory、$$FILEPATH 等 --- 但是当我调试管道并返回容器并查看输出表时，仍然只有输入表中的 5 列存在！

如何让输出表包含输入表中不存在的列？我需要创建 ARM 模板吗？

顺便说一句，我完全通过 Azure 门户来做这件事。

我有 ADF 管道将数据从 Azure SQL db 导出（通过复制活动）到 Data Lake (ADLS2)，然后从那里导出到另一个 Azure SQL db。在出现一些字符之前，它工作正常。

这是罪魁祸首记录在第一个 Azure SQL 数据库中的样子：“Gasunie\

在此处输入图像描述

这是在 ADF 中设置数据集以将其导出到 ADLS 的方式：列分隔符 - 管道行分隔符 - 自动检测编码 - 默认（UTF-8）转义字符 - 反斜杠（）引号字符 - 双引号（“）

在此处输入图像描述

这是导出文件在 notepad++ 中的样子（它是管道分隔的文件）： "\"Gasunie\" 在此处输入图像描述

这些是 ADF 中的 adls 数据集从 adls 加载到 azure sql db 时的设置：列分隔符 - 逗号行分隔符 - 自动检测编码 - 默认（UTF-8）转义字符 - 反斜杠（）引号字符 - 双引号（“）

请注意，它现在以逗号分隔，但这不会导致任何问题。

在此处输入图像描述

但这就是它加载后的样子：“Gasunie”|1|||||||||||... 最初存在的反斜杠不知何故导致它停止了接下来几列的定界。 在此处输入图像描述

我已经为引号和转义字符尝试了很多很多不同的设置，但是它们给数据集中的其他数据带来了更多问题。

有谁知道我如何纠正它而不必要求纠正来源？

注意：它存储在 adls 中是有原因的，因此它不能从 Azure sql db 复制到另一个 Azure Sql db。

它是由顾问根据模板构建的，高度参数化，因此插入数据流以处理 adls 中的文件将是一个非常漫长的过程。

任何帮助表示赞赏。谢谢你。

我们如何访问 adf 复制活动中预复制脚本的动态表达式中的列因为我需要修剪）在加载到 sql db 之前对来自源的多余字符进行子串化。

谁能帮我表达一下。

例如：假设我有一个名为“地址”的列，它的数据超过 50 个字符。可以在加载到接收器之前修剪此数据吗？

因为我不想更改目标 dB，并且想在加载之前对其进行处理。

提前致谢。

我正在使用复制活动执行测试，其中源是一个 2GB 文件，其中大约 1000 万行进入一个没有索引的空表。当我在活动运行时使用下面的查询查看此表上的锁时，我只看到锁类型为“X”request_mode（独占）。我不应该看到“BU”的锁类型吗？我确实看到数据库的恢复模式是“FULL”。这应该设置为“批量记录”吗？

我的要求是将数据从 Oracle 复制到 SQL Server。在从 Oracle 数据库复制之前，我需要使用具有一些逻辑的过程来更新 Oracle 表。

如何从 Azure 数据工厂执行 Oracle 存储过程？

我提到了这个线程

如果我EXECUTE PROC_NAME (PARAM);在preCopy脚本中使用它会失败并出现以下错误

有人可以帮忙吗？

注意：我正在为数据工厂使用自托管运行时环境，谢谢！！