问题标签 [azure-file-copy]

我想将生成结果从我的 Azure 发布管道复制到 Azure Blob 存储。目前我使用 AzureFileCopy@4，当我使用 Windows 代理构建时它工作得很好。但它不支持 Linux 或 MacOS，因为我收到此错误：

##[错误]当前操作系统无法运行此任务。这通常意味着该任务仅针对 Windows 编写。例如，为 Windows 桌面 PowerShell 编写。

如何制作适用于多平台的 Blob 存储文件复制任务？

我有一个 DevOps 管道AzureFileCopy@4任务，我需要将文件复制到 VM。任务设置很简单：

该文件已上传到存储，但日志随后显示以下错误：

我认为这是因为 VM 没有与之关联的公共 IP，因为要求此 VM 不公开。我知道相当明显的答案似乎是它需要一个公共 IP，但在此管道的其他步骤中，有 Powershell 任务使用az vm run-command在同一 VM 上执行并提供机器名称和资源组，就像这一步确实如此，所以我希望有办法仍然可以使用它。

是否可以在 DevOps 中使用 AzureFileCopy 将文件复制到没有公共 IP 的 VM？

我有一个 Azure 文件复制任务作为我的构建的一部分。某些目录需要递归复制到 blob 容器。基本上，应该将源中的“cdn”目录复制到 cdn blob 容器中。

因此，作为任务的“源”，我指定了“$/Website/AzureWebsite/www.die.de/cdn-content/cdn/*”作为“容器名称”，我指定了“cdn”。

任务有效：我的文件确实被复制了。但是，在复制结束后，我还看到一个名为“$tf”的目录，其中包含各种以数字为名称的子目录。（0、1、2 等）。所有这些都包含名为“*.gz”或“.rw”的文件。

这是从哪里来的，我该如何摆脱它？

blob 存储到 fileShare 大文件传输的问题：使用 fileRange（nodejs 云功能）。它传输部分文件。

当我们传输大小为 10MB 的文件时 - 它仅传输 9.7MB 当我们传输大小为 50MB 的文件时 - 它仅传输 49.5MB

它给出的问题是： Stack: RangeError: contentLength must be > 0 and <= 4194304 bytes

代码片段：

传输部分文件后它给出错误 - 任何建议：我们如何使用 rangeSize 传输大文件。
堆栈：RangeError：contentLength 必须 > 0 且 <= 4194304 字节

我有 azure VM，我已将 Azure 文件共享挂载为驱动器 (V:)，我正在尝试创建 azure 管道，该管道将执行复制任务以将文件从挂载的 Azure 文件共享 (v:) 复制到本地磁盘 (D :)。

在发布管道中，我选择了复制任务，并将源作为 Azure 文件共享驱动器路径 (\\filesharepath\foldername)，将目标作为 (D:\Foldername)，但是当我运行管道时出现错误

未处理：未找到源文件夹：（\\filesharepath\foldername）

我还尝试了其他方法来创建 PowerShell 脚本任务，并使用 Copy-Item 命令创建了一个 powershell 脚本（在 azure VM 内）来执行复制任务，但是在运行管道时出现错误

Copy-Item: cannot find drive. The drive does not exists.

在 azure VM 中，我能够运行 powershell 脚本并且文件复制确实发生了，只有当我通过管道运行脚本时才会出现问题，如何克服这些问题？

我在 Azure DevOps 中有一个非常简单的管道。当提交到开发分支时，将签出存储库中的文件，然后使用 AzureFileCopy 任务将其推送到 blob 存储容器。当我当前运行管道时，blob 中的所有文件都显示修改日期，包括已经在 repo 中的文件。

我们的开发人员询问我们是否可以更改它，以便仅更新提交到 repo 的新文件或修改过的文件，而不会覆盖所有其他文件。我尝试使用设置为 false 的覆盖参数，但这会忽略对文件内容的任何更改。

我已经考虑使用 powershell 来代替，但正在寻找有关最佳方法的建议？

大家好，这里是完整的 ADF 新手——我对 DataFactory 有一个奇怪的问题，而且令人惊讶的是看不到其他人也遇到过同样的问题。

总结一下：

1. 我已经设置了从 blob 到 Azure SQL 数据库的基本复制活动，没有任何转换步骤
2. 我已经根据通配符名称设置了一个触发器。即任何加载到以 IDT* 开头的 blob 的文件都将被复制到数据库中
3. 我已将一些文件加载​​到 Azure Blob 中的特定位置
4. 触发器被激活
5. 一旦看起来一切正常，对记录数的快速评估显示相同的文件已被导入 X 次

我已经分析了正在发生的事情，基本上当我将文件加载到 blob 时，它们在技术上不会同时到达。因此，当文件 1 命中 blob 时，会触发通配符搜索并找到 1 个文件。然后当第二个文件在几毫秒后命中 blob 时，再次触发通配符搜索，这一次它处理 2 个文件（第一个和第二个）。

根据加载的文件数量，问题不断复杂化。

我尝试了多种方法来解决此问题，但无济于事，因为从根本上说它的行为“正确”。

我努力了：

1. 处理完文件后删除文件，但由于毫秒问题再次删除文件在技术上仍然存在并且仍然可以处理
2. 我添加了一个循环来一次处理 1 个文件，然后在根据 blob 中的文件名加载下一个文件之前删除该文件，但没有奏效（并且无法解释原因）
3. 我将 ADF 限制为只有 1 个并发连接，这减少了它重复的次数，但不幸的是仍然重复它
4. 尝试在复制活动开始时放置一个等待计时器，但这会导致资源锁定问题。我收到一条错误消息，指出多次等待导致进程失败
5. 尝试了 1,2 和 3 的组合，我最终遇到了一个完全不同的问题，因为它正在尝试查找文件 X，但现在不再存在，因为它已作为上述步骤 2 的一部分被删除

我真的在为一些看似非常基本的东西而苦苦挣扎。所以我确信是我忽略了一些非常基本的东西，因为似乎没有其他人对 ADF 有这个问题。

I'm using copy data that copies a file from File Share to Blob. I always get this error:

''' ErrorCode=UserErrorFailedToCreateAzureBlobContainer,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Unable to create Azure Blob container. Endpoint: https://xxx.blob.core.windows.net/, Container Name: temp-archive.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=Microsoft.WindowsAzure.Storage.StorageException,Message=Unable to connect to the remote server,Source=Microsoft.WindowsAzure.Storage,''Type=System.Net.WebException,Message=Unable to connect to the remote server,Source=System,''Type=System.Net.Sockets.SocketException,Message=A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond xx.xxx.xxx.xxx:xxx,Source=System,' '''

Both blob and file share storage are correctly setup as I used them in my pipeline. only when I'm copying from file share to blob that this happens. Is it a limitation?

我的任务是每天从 SAP 服务器复制新添加的文件并将其存储在 ADLS 中。服务器上有 2 种类型的文件（循环和前期）附加日期。我需要将文件存储在单独的文件夹中，并且每天将最新文件从 SAP 服务器添加到 ADLS。

文件名格式：R_07292021.orc Recurring_08312021.orc U_07292021.orc Upfront_08312021.orc

以下是我到目前为止所采取的步骤

1. Get Metadata Activity 从服务器获取文件列表

2. 使用过滤器活动根据名称分隔文件，因此使用首字母过滤

3. 我尝试使用 Foreach 活动和 If Condition，但它似乎不起作用。

我被困在这一点上，试图弄清楚如何继续。任何帮助将不胜感激。

在我的工作中，我们的文件服务器中有 Azure 文件同步，效果很好。但是现在我们需要取消该服务并使用私有云来存储我们的文件。

如何使我的服务器中的所有文件都可以复制到另一个位置？我们之前尝试关闭订阅，并且很多文件无法在服务器上复制。

BR。