2

我希望通过活动 json 中的 policy.timeout 属性对数据工厂中的自定义活动施加超时。

但是，我还没有看到任何文档表明超时如何对 Azure 批处理进行操作？我假设批处理任务以某种方式被强制终止。

但是任务-> 自定义活动是否得到通知以便可以整理？

我问的原因是我可能正在中间复制到数据湖存储，我既不想让它无限期运行，也不想在没有某种清理的情况下停止它（我看不到使用数据进行事务的方法湖商店SDK）。

我正在考虑将超时放在自定义活动中，但是将超时定义为 2 个不同级别将是一种耻辱（我可能仍然想要整体超时）。

4

1 回答 1

1

我感觉到你的痛苦。

无论调用的服务处于什么状态，ADF 都会在达到其自己的超时时间时简单地终止活动。

我对 U-SQL 处理调用有同样的问题。在 ADF 超时终止发生之前，需要通过 PowerShell 进行大量主动监控，以确保数据湖或批处理作业有足够的计算来完成数据量自然增加的作业。

我不知道 ADF 有任何优雅的方式来处理这个问题，因为每种活动类型都会有所不同。

是时候为 Microsoft 创建另一篇反馈文章了！

于 2017-08-07T09:47:34.720 回答