spring - Spring Batch：使用多线程处理多文件

Question

我需要处理多个文件（比如 300 个 csv 文件）。

我需要读取-> 处理--> 写入每个单独的文件，因为我需要对数据应用一些转换逻辑。

对于每个输入文件，都会有一个相应的转换文件。所以对于 300 个输入文件，我们将有 300 个输出文件。最后，需要将所有 300 个输出文件合并为一个文件，该文件将被压缩，然后通过 FTP/SFTP 传输到远程位置。

比如说，每小时我们必须处理一组新的 300 个文件，我们需要在这些文件上应用上述处理，因此我们将每小时安排上述作业。

1. 如何使用 Spring Batch 在上述场景中处理多文件处理？
2. 如何使上述处理在多个线程中发生？

请建议。提前致谢。

Answer 1

You can use spring task execution and scheduling and then use java ThreadPoolExecutor

Check this answer here at SO for a very simple example.