问题标签 [azure-data-factory-2]

因为我们可以在 ADF-v2 上运行 SSIS 包。

所以我准备了一个 SSIS 包来在 Mysql 和 Azure SQL 之间同步记录，并在报告中出现以下错误

我尝试使用 ODBC 和 ADO.Net 连接，但在尝试从 SSIS 目录执行时得到相同的结果。

当我尝试从 SSDT 执行包时，我能够同步记录

问题：除了 Azure 云连接器，我们不能在 ADF-v2 中使用 SSIS 吗？

另外请建议我是否缺少任何步骤。

用于实现相同 Link1 和Link2的参考链接

我正在将大型数据集迁移（提取-加载）到 LOB 服务，并希望使用 Azure Data Factory v2 (ADF v2)。这将是通常在 SSIS 中实现的同类编排的云版本。我的源数据库和数据集以及目标平台都在 Azure 上。这导致我使用批处理服务 (ABS) 并创建自定义活动的 ADFv2。

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity

但是，我无法从 Microsoft 提供的文档或示例中了解 ADF v2 如何创建批处理服务所需的作业和任务。

例如，假设我有包含 1000 万条记录的数据集，以及池中有 10 个核心的批处理服务。如何将 1/10 甚至逐行提交到在池中每个内核上运行的命令行应用程序？我如何分发作品？按照 ADF v2 文档中的默认指南，我只获得了一个 datasets.json 文件，它对于我的所有池节点都是相同的，没有“切片”或子集信息。

如果不涉及 ADF v2，我将在 ABS 中创建一个作业，并为每一行或每 X 行创建一个任务。然后节点将执行一个任务一个任务。如何使用 ADF v2 实现类似的功能？

在使用 VSTS 构建连续部署的 powershell 脚本中，我是否需要包含 login-azurermaccount 以及如果是，我如何将其参数化为用户名和密码。我已经用谷歌搜索了它，但找不到正确的解决方案。

我需要构建一个能够从一个 DataLake 复制到另一个 DataLake 的管道，但是到目前为止，通过谷歌搜索我找不到任何与之相关的东西，谁能指出我正确的方向？非常感谢。

我有许多管道/链接服务/数据集 json 文件，我需要将它们上传到我的数据工厂，而不是创建新版本并复制文本。最简单的方法是什么？

我正在研究 Azure 数据工厂 V2 管道，但是当我尝试在“ If Condition Activity ”中执行“自定义活动”时遇到问题。

如果我尝试使用 ADF Web 界面上的“测试运行”按钮测试我的管道，则会出现以下错误：

{"code":"BadRequest","message":"Activity PPL_ANYFBRF01 失败：链接服务引用无效。名称：LNK_BATCH_AZURE","target"...}

我确信链接服务引用的名称没有错误。如果我直接在我的管道中创建一个“自定义活动”，它就可以工作。

我认为这可能是我的活动的语法错误，但我找不到它。

这是我的“If Condition Activity”的 Json 模板（表达式“@equal(0,0)”仅用于测试目的）：

预先感谢您的帮助。

有没有办法将 Json 代码粘贴到 azure 数据工厂版本 2 中的管道代码？我可以从管道代码中复制，但无法粘贴到那里。

我有一个场景，我需要在 Google Big Query 中连接 Azure Data Factory (v2) 以将数据移动到我的 Azure Data Lake，但我不工作。

当我创建链接服务时，我选择 Big Query 作为源，我将有关 BigQuery 的所有信息，如项目名称、连接类型等，但是当我单击 Validade 按钮时，会向我显示一条消息：（例如）。 ..

UserError：错误 [28000] [Microsoft][BigQuery] (80) 身份验证失败：invalid_grant 错误 [28000] [Microsoft][BigQuery] (80) 身份验证失败：invalid_grant'Type=,Message=ERROR [28000] [Microsoft][ BigQuery] (80) 身份验证失败：invalid_grant 错误 [28000] [Microsoft][BigQuery] (80) 身份验证失败：invalid_grant,Source=,', activityId: 05ff5ce1-5262-4794-853c-c9e39b7f4b71

任何想法？有人已经测试过这个连接器吗？

谢了。皮特·博诺莫

我必须创建一个管道，它将数据从一个 blob 复制到另一个 blob 并且我想将 azure 数据工厂版本 2 与密钥库一起使用。我怎样才能做到这一点？

我正在尝试增量同步来设计 MySQL 和 Azure Sql 引用文章之间的增量同步数据，并且在为新水印设计管道时发现查找组件仅支持 SQL SERVER。

问题

有没有办法使用 ADF v1/v2 在云上从托管的 Mysql 增量同步到 Azure SQl？

我们可以使用哪些其他组件从 Mysql 中选择数据我尝试了 Store Procedure，但它仅支持 Sql server。