airflow - 使用 Airflow 运行 .EXE 和 Powershell 任务

Question

我们的系统基本上只是运行 C# 和 Powershell 应用程序以及 MS SQL Server 的 Windows 服务器。我们有一个内部的 WorkflowManagement 解决方案，它能够运行执行 EXE/BAT/PS1 甚至调用 DLL-Functions 的任务。

现在我正在评估 Apache Airflow 是否对我们来说是一个更好的解决方案。到目前为止，我的天真的计划是在 Linux 机器上运行气流调度程序，然后让消费者在 Windows 机器上运行。但是，例如，我将如何设置消费者以运行 .exe 任务？

我是否需要创建一个接受 HTTP 调用然后执行 .Exe 文件的 Wrapper-Service？

score 6 · Accepted Answer

我认为您提到的消费者在气流中被称为“工人”。典型的工作人员运行一个不在 Windows 上运行的执行程序。

理论上你可以在你的 windows 机器上安装一个 ssh 服务器，然后SSHExecuteOperator在那里运行 exe 命令等。

这可能比 HTTP impl 工作得更好，因为您在气流中的任务将在 ssh 命令运行时保持“运行”，并相应地自动进入成功或失败。如果您想与气流很好地集成，则需要使用 HTTP 实现自己实现此功能。

score 0 · Accepted Answer

0

我回答了一个类似的问题

于 2021-09-27T23:22:40.203 回答

2 回答 2