spring - 使用 Spring Cloud 数据流代替 Spring Batch 的优势

Question

我们需要编写一个应用程序来每天读取一个平面文件并写入数据库表。我们计划使用 Spring Batch 来完成这项工作。

我们正在寻找的限制和补充是

1.应用程序本身将在单个 VM 中运行。它永远不会在任何时候部署在一个以上的虚拟机中。

2.我们将来可能会有其他文件遵循相同的模式。

在这种情况下，与 Spring Batch 相比，使用 Spring Data Flow 是否提供任何功能或优势？

Answer 1

我试图总结 Spring Cloud Data Flow (SCDF) 在这个SO 线程中提供的一般特性功能和简化——也许这可能有用。

在你的情况下，

应用程序本身将在单个 VM 中运行。它永远不会在任何时候部署在一个以上的虚拟机中。

不确定这是一个问题还是一个要求。我假设您想知道如何扩展您的批处理作业操作。

如果您有一个远程分区批处理作业，根据workers您配置的数量，它们中的每一个都在单独的进程/容器中运行，并且master批处理作业中定义的步骤协调工作人员和数据分区。这将是并行操作的一个示例 - 这是一个示例。

我们将来可能会有其他文件遵循相同的模式

伟大的。在 SCDF 中定义和注册批处理作业后，您可以随时启动/重新启动它。您将使用 SCDF 的 REST-API、Shell 或 Dashboard 来执行此操作。

根据您运行 SCDF + 批处理作业的运行时平台，您可以利用特定于平台的调度程序通过 SCDF 中公开的 REST-API 安排批处理作业。