问题标签 [copy-activity]

我已按照 microsoft 文档获取会话日志。https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-log 这是我的复制活动的片段

“logSettings”：{“enableCopyActivityLog”：true，“copyActivityLogSettings”：{“logLevel”：“Info”，“enableReliableLogging”：false}，“logLocationSettings”：{“linkedServiceName”：{“referenceName”：“ls_adlsgen2_landingzone”，“类型”：“LinkedServiceReference”}，“路径”：“会话日志”}

作为复制活动输出的一部分，我期望日志文件具有数据读取、写入、行读取、写入、复制持续时间、吞吐量等，但是我看到的只是文件写入的开始和结束。我错过了什么吗？看起来会话日志没有记录复制文件的见解..有没有办法得到这些细节？

输出会话日志文件 Timestamp,Level,OperationName,OperationItem,Message 2021-11-18 21:30:36.3698967,Info,FileWrite,"202111181630.parquet","开始写入文件。" 2021-11-18 21:30:37.5773470,Info,FileWrite,"202111181630.parquet","完成写入文件。文件复制成功。"

我需要从 Azure BLOB 读取多个 JSON 文件并将其转换为 ADLS 中的单个分隔文本文件。当我尝试使用复制活动合并文件复制行为时，接收器中生成的文件的顺序与预期的不同（即原始文件中的行顺序未保持）。在 Synapse 中将文件从源合并到接收器（不一定是复制活动）后，有什么方法可以保留顺序吗？

I'm using Azure data factory, copy activity to download an image from URL into a Datalake, the copy activity works as expected example :

so the image is shown as expected from all the URL configured in Service link except this one : https://www.sephora.com/productimages/product/p400057-av-03-zoom.jpg

here's the result which I'm getting :

Do you have any explanations why I'm getting Sephra image like this in the datalake ?

我想在复制活动期间添加一个额外的列。我无法使用 Getmetadata 活动，因为它是通过 hhtp 链接服务。

但是，我使用了一个名为 filename 的参数来指定文件。是否可以在附加栏中输入上述参数。 在此处输入图像描述

[我已经用图片更新了我的问题，请检查并帮助我解决这个问题]

1. 我创建了数据流 - 记录错误详细信息。参数 -> errorMessage_Child

子数据流

2. 创建了一个管道来调用上述数据流（步骤 1），命名为 pl_ErrorLog。参数 -> errorMessage_Parent

管道调用数据流

传递参数值

3. 创建了另一个具有复制活动的管道，并在复制活动的失败路径期间调用了上述 pl_ErrorLog（步骤 2）管道（通过执行管道）。参数 -> errorMessage_Parent 值传递 -> @activity('Copy data1').output.errors[0].message

父管道

但我的执行管道因以下错误而失败：- 由于原因作业失败：未定义存储配置。此错误可能是由管道中的无效参数分配引起的。","详细信息":""

我有一列的日期格式为MM/dd/YYYY HH:MM:SS AM/PM. 但目前格式为字符串类型。在将这些数据加载到 Oracle 表中时，它给了我type conversion error从 String 到 Date 类型的信息。

我to_date() and date_format()在 pyspark 中尝试了函数，但to_date()将我的值截断为仅日期MM/dd/YYYY并将date_format()其保留在字符串中。

有什么办法可以改变我的列的数据类型吗？

我正在 Azure 数据工厂中进行复制活动。我正在将 csv 文件复制到 azure sql db。我已经设置了从链接器服务到数据集的所有东西。我想要的是，如果复制活动成功或失败，那么我想将 TableName、复制的行数和状态（成功、失败）插入 Azure SQL 中的另一个表。如何做呢。

我有一个到共享点数据库的 http 连接，我想导入一个文件而不必指定文件名。可能吗？

目前我使用的数据集已将 URL 参数化为此 @concat('dburl/_api/web/GetFileByServerRelativeUrl(',dataset().filename, ')/$value')

文件名是我定义的参数

在我的管道中，我有复制活动获取令牌和 appsecret，我只需在文件名参数中指定名称。我尝试使用符号 * 和其他所有内容，但它失败了。

在使用 Azure 数据工厂中的 azure 复制活动加载到目标表之前，我需要帮助从目标表中删除记录。我的条件是从雪花表中删除其中 snowflaketable.date 列等于管道触发时间日期的记录。

我尝试在 Pre-Copy 脚本中写下

从 "CONSOLIDATE"."SEM"."HEATMAP" 中删除 cast(createdate as date ) = cast(@pipeline.triggetime.scheduletime as date)

你能帮我正确的语法吗？

大家好，我正在为数据管道而苦苦挣扎。

我有一个管道，我首先从 api 获取一些数据。该数据除其他外包含一列 id。我已经设置了一个数据副本，并将 json 结果保存在一个 blob 中。

我接下来要做的是遍历所有 id 并对这些 id 进行 api 调用。

但是我一生都无法弄清楚如何迭代ID。我已经考虑过使用查找和 for-each，但似乎查找仅限于 5000 个结果，我只有 70k 多一点。

对我有什么指示吗？