问题标签 [azure-data-factory]

我有两个问题。

1. 有没有办法使用 ADF 定期将数据（FTP 服务器中的 CSV 文件）移入 Azure 存储帐户？

2. 使用切换 Azure 模式后

   切换 azuremode AzureResourceManager

我无法使用 Get-help 数据工厂

（在管理员模式下使用 Powershell，使用“Add-AzureAccount”添加 Azure 帐户）

谢谢

这似乎应该具有数据工厂的特定标签。

我在此处遵循 Azure 数据工厂教程，在“创建输出表”步骤中，我不断收到无法连接到链接服务的错误。错误消息是“无法连接到链接服务。错误代码：-2146232060。” 我在哪里可以找到一些故障排除步骤，或者至少可以找到错误代码的某种解释？

我遇到了 Azure 数据工厂和存储过程的问题。

我已将 SP 设置为输入数据的接收器：

并且在执行之后我必须处理大约 200k 记录，但是在处理了一些有限数量的行（大约 10k）之后，我得到了错误：

SP代码：

我一直在尝试设置 SELECT 参数 - slicestart 时间来收集最近更改的记录：

我得到了错误：

数据库操作失败。来自数据库执行的错误消息：ErrorCode=FailedDbOperation,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=数据库操作失败并出现以下错误：'从字符串转换日期和/或时间时转换失败。', Source=,''Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=数据库操作失败并出现以下错误：'从字符串转换日期和/或时间时转换失败。',Source=Microsoft.DataTransfer。 ClientLibrary，''Type=System.Data.SqlClient.SqlException，Message=从字符串转换日期和/或时间时转换失败。，Source=.Net SqlClient 数据提供程序，SqlErrorNumber=241，'。

我们按照此链接的步骤配置新的 Azure 数据工厂，以将数据从本地数据库同步到 Blob 存储

唯一的偏差是我们使用 VPN 连接到不同域上的 SQL 服务器。使用 SSMS，我们能够连接到数据库并查询数据库。

我们收到以下错误：

复制活动遇到未知服务器错误：代码：0；消息：'Type=System.ComponentModel.Win32Exception，Message=用户名或密码不正确，Source=Microsoft.DataTransfer.ClientLibrary，'。

是否有可能启用其他日志来验证我们为什么会收到此错误。当我们收到此错误时，任何已知情况？

能否使用 Azure 数据工厂从 Azure SQL DB 中提取数据并将其转储到 Azure Blob？或者类似的东西是否更适合通过 WebJob 在 C# 中处理的手动操作？

在 azure datafactory 中，如何将数据从 blob 复制到 sql 而不重复，即如果管道以每 15 分钟的切片运行，那么如何避免获取重复数据

Azure 数据工厂 - 入门。（一个类似的问题没有答案。）

我正在使用数据工厂将数据从存储移动到 Azure SQL 表。我可以创建链接服务器，但当我尝试在 DataSet 中引用它时，操作失败并出现指向 LinkedService 的错误：

statusCode:BadRequest serviceRequestId:f1e0d752-6d10-42db-b445-6c59d8eaf074 statusMessage:{"message":"链接服务 AzureSqlLinkedService 未准备好。当前状态：失败。如果 AzureSqlLinkedService 处于失败状态，您可以通过获取对象并检查来进行调查错误消息，然后决定是否需要更新其某些属性或重新创建对象。","code":"LinkedServiceNotReady"}

我试图调查现在显示错误的 AzureSqlLinkedService：

实体配置失败：无法连接到链接服务。错误代码：-2146232060。

此代码出现在广泛不同的上下文中，因此不是很好，但错误消息似乎是有效的。我已打开防火墙以允许连接到 SQL Azure，并且没有看到有关凭据或连接的错误。

我试图从 PowerShell 中获得更多信息，但没有任何乐趣：“ProvisioningState : Failed”就是它所添加的全部内容。

请指点？

我正在尝试使用 Azure 资源管理器模板部署 Azure 数据工厂服务。到目前为止，我能够创建数据工厂本身，但我无法使用这种方法向其中添加任何链接服务、管道或数据集。由于没有可用的数据工厂模板示例，我根据 REST API 文档创建了我的模板。以下是我试图实现的模板，但服务器返回了“错误请求”。

根据我可以从日志中获得的信息，执行了对 API 的请求，并且端点似乎是正确的。但是，请求有效负载似乎存在问题。

你们中有人有使用 ARM 模板部署数据工厂服务的经验吗？可以使用这种方法创建链接服务吗？有没有办法查看用于创建链接服务的请求？

非常感谢您的帮助！

哈维

使用 Azure 数据工厂，是否可以将位于 Azure SQL DB 中的多个（不是全部）表中的所有行按计划 1:1 复制/克隆到另一个 Azure SQL DB（在本例中为 Azure SQL 数据仓库），无需在数据工厂 JSON 数据集中显式定义所有表架构/结构？

我问的原因是到目前为止我看到的数据工厂教程（例如这个）已经为他们的复制活动明确定义了表模式。如果我们有数百个要复制的表，我们将不得不花费数天时间用 JSON 编写表定义（或者编写脚本，我猜，无论哪种情况，简单地复制数据似乎都是不必要的工作）。

（我应该补充一点，带有 ADF 的 On Premise SQL -> Azure DB/DW 案例也很有趣。真的希望能够定期且经济地将数据移动到云中，而无需指定数千个表模式。）。