问题标签 [azure-data-factory-2]

我想知道如何使用 Azure 数据工厂 V2 中的活动（最好是 pyspark）连接并列出 Blob 存储容器中可用的文件

我正在使用数据工厂 v2。我有一个复制活动，它以 Azure SQL 数据集作为输入，以 Azure 存储 Blob 作为输出。我想将我的 SQL 数据集中的每一行写为一个单独的 blob，但我不知道如何做到这一点。

我在复制活动中看到了 copyBehavior，但这仅适用于基于文件的源。

另一个可能的设置是我的数据集中的 filePattern：

指示存储在每个 JSON 文件中的数据模式。允许的值为：setOfObjects 和 arrayOfObjects。

setOfObjects - 每个文件包含单个对象，或行分隔/连接的多个对象。在输出数据集中选择此选项时，复制活动会生成一个 JSON 文件，其中每个对象每行（行分隔）。

arrayOfObjects - 每个文件都包含一个对象数组。

该描述谈到“每个文件”，所以最初我认为这是可能的，但现在我已经测试了它们，似乎 setOfObjects 创建了一个行分隔文件，其中每一行都写入一个新行。setOfObjects 设置创建一个带有 json 数组的文件，并将每一行添加为数组的一个新元素。

我想知道我是否在某处缺少配置，还是不可能？

我在 Azure 数据工厂 V2 中创建了一个管道。它将从 Rest API 复制数据，并将此数据以 JSON 文件的形式保存在 Azure Data Lake 中。然后我使用 U-SQL 转换该 JSON 文件并将该数据以 .csv 格式复制到另一个文件夹中。我的管道。请参阅以下管道图像。

Rest API 将数据返回为 JSON 格式的谎言。

这个 API 没有返回完整的数据，它使用下一个链接返回数据，通过点击下一个链接，我们可以获取下一组记录。如何使用Data Factory V2中的迭代来获取此类数据？我尝试了其他活动，例如For each、Until 和 If，但无法重复该复制活动以获取完整数据。

基本 URL 就像

https://graph.facebook.com/Community/groups?fields=privacy,name, purpose&limit=5&access_token=value

现在下一个 URL 将是相同的，并且在它之后还有 1 个参数，例如

https://graph.facebook.com/v2.12/1528385107457405/groups?access_token=value&pretty=1&fields=privacy,name, purpose&limit=5&after=QVF

有没有办法做到这一点？

我正在尝试将 Microsoft 的认知服务与数据湖结合使用，但在尝试从 CSV 文件列中的文本中获取关键短语和情绪时遇到了问题。

我已经检查以确保文件格式正确并且被正确读取（我已经完成了一些基本操作，比如复制，以确保它是可行的）。

我还确保我对 CSV 文件（描述）感兴趣的列在单独提取时只包含文本（字符串）。

输入文件和输出文件夹位于我的 Azure 数据湖中，我正在 Azure 上的数据湖分析中运行脚本。我没有尝试在 Visual Studio 中本地运行它。

我使用关键短语提取 (U-SQL)和情感分析 (U-SQL)作为参考，并按照那里的说明进行操作，包括获取插件。

在每种情况下，当我提交作业时，我都会收到一个错误，我似乎无法找到解决办法。下面我展示了我为每个代码使用的代码以及运行它时遇到的错误。

关键短语代码

关键短语错误信息

情感代码

情绪错误信息

任何有关如何解决此问题的帮助将不胜感激。

或者，如果有人让这些功能正常工作，并且可以提供一些脚本进行测试，并提供输入文件的链接以供下载，那就太棒了。

我正在使用Azure Data Factory将数据从REST API复制到Azure Data Lake Store。以下是我活动的 JSON

REST API 由我创建。首先出于测试目的，我只返回 2500 行，并且我的管道工作正常。它将数据从 REST API 调用复制到 Azure Data Lake Store。

测试后我更新了 REST API，现在它返回 125000 行。我在 REST 客户端中测试了该 API 并且工作正常。但在Azure Data Factory 的 Copy Activity中，将数据复制到 Azure Data Lake Store 时出现以下错误。

接收端是 Azure Data Lake Store。我从 REST 调用复制到 Azure Data Lake Store 的内容大小是否有任何限制。

我还通过更新 REST API 调用（2500 行）重新测试了管道，它工作正常，当我更新 API 调用时，它返回 125000 行。我的管道开始给出与上述相同的错误。

我在复制活动中的源数据集是

接收器数据集是

我正在使用 ADFv2 传输一些数据。作为此操作的一部分，我需要一些配置值来传递到管道中。

配置值必须在运行时从 REST 服务中提取 - 而不是作为参数。

我可以使用 Web Activity 成功查询 REST 服务，并且可以在调试视图中看到输出。

现在的问题:)

如何在管道中的其他活动中使用此输出？

我的网络活动配置是这样的：

我试图在 is 执行后访问输出，但它似乎是空的：

他们都是空的。有什么建议么？谢谢！

如何在 azure data factory V2 的查找活动中将 oracle 作为源数据集？我有一个 Oracle 数据集“DS_ORAC”。我想将此数据集作为查找活动中的源数据集。

我正在尝试创建 DF v2 自定义活动。我有控制台应用程序，但我不知道把它放在哪里。我应该只构建它并上传到 blob 存储还是有一些特殊的发布？

谢谢

我有一个输入 JSON 文件，其中属性的实际值可以是数值或字符串。我通过指定 json 路径表达式来提取值，例如

在 azure 数据工厂复制活动中，源的连接选项卡。

由于 JSON 中的实际字段值可能类似于“X”或 2.34，因此即使在架构中我将 fieldValue 指定为字符串，它也无法将其全部解析为字符串。

那么有没有一种方法可以转换它，以便在值为“X”并且如果它的 2.34 将其转换为“2.34”的情况下将字符串按原样

触发我的 Azure 数据工厂 V2 管道时，我收到以下错误消息：

我的 Azure 数据工厂 V2 的位置为“西欧”，原始数据的 blob 存储也是如此。

数据工厂中的所有链接服务都经过验证。当我按下“全部验证”时，我的工厂也声称没有错误。

我的错误的根源是什么，我该如何解决？