问题标签 [azure-data-factory]

我的解决方案中有数据工厂项目，现在正在创建构建定义。

当构建服务器开始构建解决方案时，它会给出一个异常，指出C:\Windows\ServiceProfiles\NetworkService\AppData\Roaming\Microsoft\DataFactory Tools for Visual Studio\MsBuild\1.0\DataFactory.targets找不到路径。我已经在构建服务器上安装了扩展，但是上面的文件放在我的 AppData 文件夹中。

如何使用 TFS 构建定义构建数据工厂项目？

PS> 我使用的是 TFS 2013 服务器，Visual Studio Ultimate 2013 也安装在构建服务器上。

编辑

即使我从命令行使用 msbuild，构建也会失败并出现以下错误

我想跟踪源代码控制中的管道更改，并且正在寻找一种以编程方式从 ADF 检索 json 表示的方法。

.Net 例程返回对象，但遗憾的是 ToString() 不返回 json（这不方便吗？），所以现在我正在考虑手动复制 json（现在向我开枪！），或者可能试图从 .Net 对象重新创建 json（稍后向我射击！）。

请告诉我我很密集，有一种明显的方法可以做到这一点。

我正在使用 azure 数据湖工厂创建管道。Pipeline 有一个数据湖分析 U-SQL 活动。这曾经工作正常，但停止工作，说明我需要刷新凭证令牌。

当我再次自动化并部署时，我收到错误消息“配置失败。内部服务器错误。请求 ID：....”。

}

我尝试重新启动浏览器会话，创建新服务仍然失败。

还有什么我想念的吗？

我正在数据工厂中创建一个管道，该管道在博客中获取一个 csv 文件并将其加载到 Azure SQL 中。csv 文件中的某些行将缺少/额外的分隔符。因此，对于该特定行，csv 文件和 Azure SQL 表中的行数将不对应。我希望进程继续工作并将错误行存储在错误表中，并让进程完成工作。请帮忙。干杯。

我想通过活动/管道的“参数”属性将管道的切片开始/结束时间属性传递给 U-SQL 活动。

目的是根据切片开始的日期生成动态文件名，并安排每天运行的过程并处理该日期的文件。

那可行吗？

我正在尝试将数据工厂管道提交到 Azure Batch 计算，其中包含我以前一直在使用并且工作正常的链接服务。

但是，管道失败并显示以下消息：

未找到 Azure Batch 实体。代码：'JobNotFound' 消息：'指定的作业不存在。RequestId：d8f2b8d6-b34b-4823-9a06-9037ff549185 时间：2016-05-26T10:21:43.1480686Z'

这两个句子似乎不一致，一个声明未找到批处理实体，认为代码说 JobNotFound，它指的是 Azure Batch Job。

非常感谢帮助。

错误： 复制活动在“源”端遇到存储操作失败。来自存储执行的错误消息：未找到请求的值“AppendBlob”。

我最初试图将 blob 复制到 prem sql 上，但收到了上述错误。只是为了测试，我试图将 blob 复制到 blob，但仍然收到相同的错误。

我可以看到容器中的斑点。但似乎 azure 数据工厂复制活动无法访问它。AppendBlobs 是否适用于 azure 数据工厂复制活动？任何其他人遇到这个问题，关于如何解决的任何想法？

谢谢。

Azure 数据工厂 JSON 定义文件：

输入块：

输出块：

管道：

您好我正在使用 Azure 数据工厂进行复制活动。我希望副本在容器中递归，它的子文件夹如下：myfolder/Year/Month/Day/Hour}/New_Generated_File.csv

我生成并导入文件夹的文件始终具有不同的名称。

问题是活动似乎永远在等待。

管道每小时安排一次。

我附上了数据集和链接服务的 json 代码。

数据集：

}

关联服务：

}

我有一个位于 Visual Studio 2015 解决方案中的 adl-adf 管道。一切都在工作，直到上周末，发生了一些神秘的更新，使我的环境变得毫无用处。vs 提出的错误是一种神秘的“vs 2015 停止工作”的错误。我挖掘了'adl tools for vs'日志并推断这是gac中的版本控制问题；卸载并重新安装了数据湖工具，至少我的 vs 现在启动了。

但是，在此过程中，我必须对我的 adf 组件做些什么，因为解决方案中的项目现在无法加载，并出现这样的错误。

你们有没有遇到过这种情况？我感谢您的帮助！

这是一些相关的版本信息

Microsoft Visual Studio Community 2015 版本 14.0.25123.00 更新 2 Microsoft .NET Framework 版本 4.6.01038

安装版本：社区

......

Azure 数据湖节点 1.0 此包包含服务器资源管理器的数据湖集成节点。

适用于 Visual Studio 的 Azure 数据湖工具 2.0.8000.0 适用于 Visual Studio 的 Microsoft Azure 数据湖工具

公共 Azure 工具 1.7 提供供 Azure 移动服务和 Microsoft Azure 工具使用的公共服务。

DataFactoryProject 1.0 微软数据工厂包

……

Microsoft Azure 数据工厂节点节点 1.0 适用于 Visual Studio Server Explorer 的 Azure 数据工厂扩展。

……

Microsoft Azure 工具 2.9 适用于 Microsoft Visual Studio 2015 的 Microsoft Azure 工具 - v2.9.40323.3

Microsoft Azure 工具 2.8 适用于 Microsoft Visual Studio 2015 的 Microsoft Azure 工具 - v2.8.40211.2

……

我有一个包含人员姓名和出生日期的 CSV 文件。我想将它存储在 Azure SQL 数据库中，并附加一个 Age 列，该列必须使用当前日期和 DOB（来自 CSV 文件）计算。请建议如何从此文件中查找管道活动中的年龄并存储在数据库中。谢谢