问题标签 [spring-batch-stream]

我正在开发Spring Boot + Batch Stream示例。这是非常基本的示例，在第 48 条记录之后立即给出错误？任何指针？我已经发布了整个代码。

错误：

输出：

StatefullItemReader.java

JobConfig.java

即使我运行代码超过 1 次，它仍然会给出相同的错误。在第二次运行的情况下，我希望代码能够正常运行。

ItemStreamApplication.java

我正在开发Spring Boot + Spring-Batch示例。第一次我能够成功运行代码，但第二次运行它给了我以下错误。有什么快速帮助吗？

任何快速指针来解决这个问题？我真的在这方面苦苦挣扎。

错误：

客户.java

CustomerRowMapper.java

作业配置.java

应用程序属性

XmlFileOutputApplication.java

另一个图像？

架构-mysql.sql

数据

1

在我们的应用程序中，我们有大约 100000 个客户，并且需要每月处理一些数据。每个客户的数据处理逻辑涉及对不同服务的大约 7 次休息调用。我们需要在 Spring Batch 中执行此操作以实现性能。

处理数据的步骤--l读取所有客户列表-获取数据web服务--l调用7个不同的微服务来获取余额、类型、费用、日期等..-l将结果写入S3存储桶

请建议设计春季批次的流程

我有如下一步配置

我的阅读器配置如下

我收到一个间歇性错误，如下所示

ExitMessage org.springframework.retry.RetryException：处理时恢复器中不可跳过的异常；嵌套异常是 java.lang.NullPointerException at org.springframework.batch.core.step.item.FaultTolerantChunkProcessor$2.recover(FaultTolerantChunkProcessor.java:289) at org.springframework.retry.support.RetryTemplate.handleRetryExhausted(RetryTemplate.java:512 ) 在 org.springframework.retry.support.RetryTemplate.execute(RetryTemplate.java:211) 在 org.springframework.batch.core.step 的 org.springframework.retry.support.RetryTemplate.doExecute(RetryTemplate.java:351)。 item.BatchRetryTemplate.execute(BatchRetryTemplate.java:217) 在 org.springframework.batch.core.step.item.FaultTolerantChunkProcessor.transform(FaultTolerantChunkProcessor.java:298) 在 org.springframework.batch.core.step.item.SimpleChunkProcessor。进程（SimpleChunkProcessor.
这种行为背后的原因是什么？

我应该怎么做才能解决这个问题？

谢谢阅读！

我想按顺序处理多个文件，每个文件都需要在多个线程的帮助下进行处理，所以使用了 spring 批处理 FlatFileItemReader 和 TaskExecutor，它似乎对我来说工作正常。正如要求中提到的，我们必须处理多个文件，因此与 FlatFileItemReader 一起，我正在使用 MultiResourceItemReader，它将获取许多文件并在我遇到问题时一一处理。有人可以帮我解决异常的原因吗？修复它的方法是什么..？

客户2.csv

客户3.csv

customer4.csv

客户5.csv

我的代码：

波纹管片段在以下使用时工作正常：

波纹管片段无法正常工作得到上述异常

我正在使用 Spring Batch，我的步骤配置如下：

在我的作家中：

使用代码，我希望如果批次出现问题，那么我将尝试单个项目并跳过失败的项目。

然而，这并没有发生。似乎事务丢失并且未恢复。

现在我正在尝试使用 springBatch 将 http 文件（示例：“https://www.w3.org/TR/PNG/iso_8859-1.txt”）写入我的本地电脑。但无法读取文件。我的阅读器文件如下：

我正在从输入中读取 100 个长度的块并将其传递给编写器。但我收到此错误：

如何从 http 读取完整的 .txt 文件并处理并将其写入所需位置？

另外，如果我将视频文件而不是 txt 文件传递​​给阅读器怎么办（在这种情况下应该是什么 FlatFileItemReader< ??? > 类型？

我正在做一个项目，我必须有效地将数据（任何文件）从一个端点（HTTP、FTP、SFTP）传输到另一个端点。我想使用 Job 的 springBatch 并发和并行功能。就我而言，一份文件就是一份工作。所以，我正在尝试从 ftp（本地运行）读取文件（任何扩展名）并将其写入不同文件夹中的相同 ftp。

我的阅读器有：

作家有：

如果是文本文件，所有内容都显示在一行中（省略 nextLine 字符），如果视频文件字节丢失/损坏，因为视频没有在目的地播放。

我做错了什么或者有更好的方法来传输文件（不管它的扩展名）。

我想使用 SimpleBinaryBufferedReaderFactory 读取数据，任何人都可以有任何我可以理解工作的代码片段或链接。

我对如何告诉读者块何时结束持怀疑态度。就像在文本文件的情况下，LineMapper 正在读取的每一行中都有 endLine 字符，但我的数据不包含 endLine。我想在遍历某个字节时结束该块。

如何告诉读者何时分块并获取每个块的字节。

在 SCDF (2.6.3) 中尝试创建流来启动复合任务，但没有选择，我错过了什么？

组合任务创建名称为comp-task : AA && BB 我可以手动运行这个组合任务，它同时执行 AA 和 BB 并正常退出。

当我试图通过流运行时，它甚至没有在 cron 中定义。我的任务定义： stream create ctr-stream-1 --definition "time --cron='0 0/5 0 ? * *' --task.launch.request.task-name=composed-task-launcher --task.launch.request.args=--graph=comp-task,--increment-instance-enabled=true | task-launcher-dataflow"

我的环境详细信息：