问题标签 [spring-batch-stream]

我需要编写一个 Spring Batch Reader 从临时文件夹中读取多个文件（.pdfs、.xmls 和 .hashs）。然后我需要为每个pdf和xml文件生成哈希码，然后在.hash文件中找到对应的哈希码

我已经使用 ResourcesItemReader 实现了一个解决方案来读取 PDF 和 XML，然后对于每个文件，我通过另一个 HASH 文件列表来查找兼容的哈希码。

对于少数处理过的文件，它工作正常。但是，当文件量非常大时，该过程会运行数小时且无法完成。

关于如何改进此解决方案的任何想法？

我有 2 个具有不同数据的不同文件。该文件每天包含 10K 条记录。

我想通过检查今天和昨天文件的价格差异来创建最终输出文件。

通过使用弹簧批处理，我必须这样做。我通过创建两个不同的步骤尝试了批量配置。但它只能读取数据。但无法进行处理。因为这里我需要两个文件的数据进行处理。但在我的情况下，它一步一步地阅读。

任何人都可以通过一些示例代码帮助我。

我正在使用resourceLoader.getResourceSpring Batch 应用程序从 AWS S3 读取文件，但出现以下异常：

我尝试了多种解决方案，例如 usingPathResource和其他方法，但没有成功。有人可以帮我解决这个问题吗？请在下面找到我的reader方法：

我正在使用从 S3 存储桶中读取多个文件MultiResourceItemReader，我ClassCastException 在执行该myReader()方法之前得到了一些错误，MultiResourceItemReader不确定这里出了什么问题。

请在下面找到我的代码：

例外：

有人可以帮我解决这个问题。提前感谢您的帮助。谢谢。

我有一个简单的 csv 文件，我正在读取 1000 个块，插入到数据库中。现在，如果我想检查该行是否存在于 db 中并且在插入之前是否等于输入，如果存在并且行是否相等-忽略，否则插入或更新，我正在使用 ItemProcessor。实现此之后，意识到 jdbc 调用太慢（平均 120 毫秒），并且想在调用 db 之前对 id 进行批处理并检查输入。在这个阶段，ItemReader 一次将一个项目传递给 ItemProcessor。现在我试图一次将 1000 个项目传递给 ItemProcessor，以便可以对 jdbc 调用进行批处理。在尝试此操作时，能够检查一些示例但无法让读者工作。这是示例代码。

这是配置

如果有人有一个简单的示例，他们可以将 1000 行 csv 文件的列表传递给处理器，请分享示例。检查了共享的示例：使项目阅读器返回列表而不是单个对象-Spring批处理 获取异常，未经检查的对处理器的调用，编写器等。

Spring Batch - Item Reader 和 ItemProcessor 以及上面检查过的列表，但有例外，如评论中列出的和未检查的类型等。如果您有阅读器、处理器和编写器的工作示例，在一个事务中没有多行，请分享穿线。