问题标签 [azure-batch]

如何为 Azure Batch 中的任务设置最大任务重试次数和最大任务挂钟时间？

我尝试了以下方法：

但这似乎不起作用，因为它破坏了代码，因为任务永远不会被创建。可能是什么问题？我在这里想念什么？

谢谢！

有没有办法在 Azure Batch 中检查节点在特定池上运行特定作业时是否进入不可用状态？上下文是，在运行作业并检查当时正在运行的池时，有一些节点在作业执行期间进入不可用状态，但如果我们没有任何迹象表明这种情况发生了在作业执行期间没有检查池的热图。因此，如何检查节点在某些作业运行期间是否进入不可用状态？

此外，我看到在 Azure 门户中收集了有关节点状态的指标，但我不确定为什么这些指标对我来说始终为零，即使我正在运行失败的作业和任务？

1. Batch 如何知道是否重试某些任务？它仅取决于退出代码吗？如果是，我该如何控制退出代码？

2. 从一些日志看来，我的工作中的一项任务被重试了，但我在第一次失败的尝试中找不到输出文件或有关退出代码的信息。有没有办法获得这些信息（事后）？

3. 当我检查我的任务属性时，它说最大任务重试次数为 0，但是，一些日志显示任务重试。这怎么可能？

谢谢！

我正在尝试编写一个自定义 .NET 活动，它将从 Azure 数据工厂运行。它将执行两项任务，一个接一个：

1. 它将每天从 FTP 服务器下载 grib2 文件（grib2 是气象数据的自定义压缩）
2. 它将在下载每个文件时解压缩。

到目前为止，我已经设置了一个带有两个节点的池的 Azure Batch - Windows Server 机器，用于运行 FTP 下载。节点正在将 grib2 文件下载到 blob 存储容器。

到目前为止，自定义应用程序的代码如下所示：

到目前为止，我的代码可以正常工作，并且我已将文件下载到我的 blob 存储帐户中。现在我已经下载了文件，我想让批处理池的节点解压缩文件并将解压缩的文件放在我的 blob 存储中以进行进一步处理。为此，使用了 wgrib2.exe，它带有一些 dll 文件。我已经将应用程序包所需的可执行文件和所有 dll 文件压缩并上传到我的池中。如果我是正确的，当每个节点加入池时，这个可执行文件将被提取并可供调用。

我的问题是：如何编写自定义 .NET 活动，以便文件由池的节点下载，并且在下载每个文件后，对每个文件运行解压缩命令以将其转换为 csv 文件？命令行如下所示：

如何获取每个下载文件的名称句柄，如何在节点上处理它并将其保存回 blob 存储？

还有，如何控制同时下载多少个文件，同时解压多少个？

我使用此 Microsoft 教程作为使用 Azure Batch 池、作业和容器的起点。

我已经将他们用于删除池和作业的代码稍微更改为

当我在本地运行此代码时，这很有效，但是当它进入我的开发环境时，在删除池或作业（通常是作业）时会遇到问题。我取回状态代码“ServiceUnavailable”。

当我手动登录到 Azure 门户时，我可以看到容器被毫无问题地删除（所以我知道可以建立连接并且可以成功删除 Azure 对象），但请注意池和作业仍然存在。

似乎没有重试策略JobOperations或PoolOperations没有重试策略的概念，所以如果它返回 ServiceUnavailable 状态，是否有任何其他方法可以让它重试删除池和/或作业几次？或者我应该在本质上尝试一个 for 循环，如果它返回一个错误的状态代码，或者如果返回一个好的状态代码，则继续执行程序的其余部分？

谢谢您的帮助。

我希望通过活动 json 中的 policy.timeout 属性对数据工厂中的自定义活动施加超时。

但是，我还没有看到任何文档表明超时如何对 Azure 批处理进行操作？我假设批处理任务以某种方式被强制终止。

但是任务-> 自定义活动是否得到通知以便可以整理？

我问的原因是我可能正在中间复制到数据湖存储，我既不想让它无限期运行，也不想在没有某种清理的情况下停止它（我看不到使用数据进行事务的方法湖商店SDK）。

我正在考虑将超时放在自定义活动中，但是将超时定义为 2 个不同级别将是一种耻辱（我可能仍然想要整体超时）。

当我们在 azure 数据工厂中创建 AzureBatchLinkedService 时，我正在使用云服务的 azure 批处理池出现错误

错误实体预配失败：Azure Batch 操作失败。代码：'BadRequest' 消息：'输入不是有效的 Base-64 字符串，因为它包含非 base 64 字符、两个以上的填充字符或填充字符中的非法字符。'

问候， 马尼什

我下载了 .NET 教程示例以开始使用 Azure Batch。

我的目标是自动化（每 2 分钟运行一次）Web api 调用并将我返回的数据存储到数据存储容器中。

问题是我在池中的节点（VM）上执行的任务返回失败，确切的错误是“任务退出，退出代码表示失败”。

所以我继续打印导致失败的错误退出代码。退出代码是 -1073741819。但这告诉我什么？？？？我在网上找不到任何可以告诉我这个退出代码代表什么的东西？？？怎么解决？？

有时当我再次运行它时，它在另一个退出代码 -532462766 上失败。如何调试 Azure 云中我的 VM 上发生的故障？

我正在尝试在 Azure 中创建一个自定义 .NET 活动，该活动创建一个 VM 池和一个作业来处理池节点上的文件提取。到目前为止，我拥有所有这些的代码，但我不确定如何将处理后的文件从节点下载回 blob 存储。我正在运行的可执行文件是带有 dll 的第三方 exe，我无权访问代码。这是我的代码：

此代码使用启动任务为所有节点创建池和作业。将exe、ddls和要处理的文件传递给节点。

我的问题是：如何将处理后的文件放到 blob 存储中？如果 VM 上没有足够的磁盘空间来存储和复制它们，我如何将它们流式传输到 blob？

我正在测试函数的 CPU 性能，所以我创建了一个函数来查找数字中的素数。它由 Azure 服务总线触发。在我的本地机器上，它在 350 毫秒内运行。

该函数在消耗计划中运行时大约需要 1000 毫秒。当我向该函数批量发送 100 条消息时，它确实可以扩展到大约 16 个实例，但每个函数的性能会大大降低到 3000-7000 毫秒之间。

尝试使用 4 核的标准服务计划时，性能更好，但没有那么多。它仍然比我的笔记本电脑慢得多。这里的这个人也有类似的问题。

这是功能预期的性能/扩展吗？Eq 不适合 CPU 密集型方法的批处理？

Azure 批处理会更合适吗？