问题标签 [spring-batch-job-monitoring]

在 Spring 批处理应用程序中，我们如何在处理每个文件时将文件从 BatchFileDir 文件夹移动到目标文件夹。BatchFileDir 文件夹中会有一堆文件，所以我使用 MultiResourceItemReader。我也在关注基于块的处理。

我有所有的批处理文件：

项目阅读器是：

并且项目处理器是：

ModifiedItemProcessor 是：

步骤是：

这与 Spring Batch Scheduling Problem 有关。

我有 3 个 UAT 服务器（UAT1、UAT2 和 UAT3）。任务是仅在 UAT3 服务器中运行计划的批处理作业，但是当我通过手动点击端点 url 运行批处理作业时，它应该在所有 3 个服务器中运行。我们使用了旧的 Batch Executor 框架方法。我们有一个端点 java 类，用于公开用于手动运行的端点 url，用于批量运行的执行程序类，并使用 batch-contxt.xml 文件配置调度。由于它有点紧密耦合，因此任何更改都会影响手动和计划运行。

如何使用弹簧批处理概念修改方法以包含上述问题？

我有一个场景，我需要大约 50-60 个不同的进程同时运行并执行一个任务。

每个进程都必须使用 sql 查询从数据库中获取数据，方法是传递一个值并获取要在后续任务中运行的数据。从 table_1 中选择 col_1、col_2、col_3 其中 col_1 = :Process_1;

由于我们在 Apache Camel 中有 Aggregator 和 parallelProcessing，Spring Batch 是否有任何类似的功能可以完成相同的工作？

我是 Spring Batch 的新手，目前正在探索它是否可以处理该卷。因为这将是一个 24*7 运行的重负载应用程序，并且每个进程都需要同时运行，其中每个线程应该能够支持进程内的多个线程。

有没有办法监视这些进程，以便它无论如何都会被终止，我应该能够重新启动该特定进程？请帮助解决这个问题。

运行为 VM 参数：META-INF/spring/student.xml student

学生是一份工作

demoRunner.java 的位置：demoBatchJob\src\main\java\com\ncs\sma\runner\demoRunner.java

stduent.xml 的位置：demoBatchJob\src\main\resources\META-INF\spring\student.xml

例外：

错误：无法找到或加载主类 META-INF.spring.student.xml 原因：java.lang.ClassNotFoundException：META-INF.spring.student.xml

我已经开始使用我的工作jobLauncher.run(processJob,jobParameters);，当我尝试使用另一个请求停止工作时，jobOperator.stop(jobExecution.getId());得到异常：

org.springframework.batch.core.launch.JobExecutionNotRunningException：JobExecution 必须正在运行才能停止

当打印作业状态总是得到 job status : STOPPING但批处理作业正在运行时

它的网络应用程序，首先上传一些CSV文件并使用spring批处理开始一些操作，在此执行期间如果用户需要停止然后停止来自另一个控制器方法的请求并尝试停止运行作业

请帮我停止运行工作

我正在开发一个 Spring Batch 应用程序，它从 Oracle 数据库中获取数据。它包含大约 20L 的数据。我实现了并发限制为 20 的AsynchronousTaskExecutor ，油门限制为 10。对于数据源，它是 - spring.datasource.max-active=50

以下是我的应用程序的线程图 (JProfiler)。它显示了更多处于阻塞和等待状态的线程。我想明白为什么会这样。另外，如何提高批处理的性能？

我需要处理来自 Rest web 服务的数据。以下基本示例是：

但是，我的 fetchDataFromAPI 方法是使用时隙调用的，它可以获得超过 20 百万个对象。

例如：如果我在 01012020 和 01012021 之间调用它，我将获得 8000 万个数据。

PS：网络服务通过一天的分页工作，即如果我想检索 01/09/2020 和 07/09/2020 之间的数据，我必须调用它几次（然后在 01/09-02/09 之间）在 02/09-03/09 之间等等直到 06/09-07/09）

如果数据很大，我在这种情况下的问题是堆空间内存。

我必须为每个月创建一个步骤以避免在我的 BatchConfiguration 中出现这个问题（12 个步骤）。第一步将在 01/01/2020 和 01/02/2020 等之间调用 Web 服务

有没有一种解决方案可以在进入处理器之前只用一步读取所有这些数据量？

提前致谢

我的要求是每当我们从 UI/Postman 调用某些 RestAPI 时，它应该在后端触发执行多个操作/任务的 JOB。示例：假设调用了一些 POST Rest API - 它应该调用“Identify-JOB”（执行多个活动）- 基于特定条件，它应该调用 PLANA-JOB 或 PLANB-JOB 1> 假设调用 PLANA-JOB，在这个 JOB 成功后，它应该触发另一个名为“finish-JOB”的 JOB。在失败时，它不应该调用另一个 JOB “finish-JOB”

你能在这里帮忙吗？我该怎么做？

我们有一些 spring-batch 作业由 autosys 触发，其中 shell 脚本作为短暂的进程。

现在无法查看 spring-batch 过程中发生了什么，所以我正在探索查看状态和管理（停止）作业的方法。

Spring Cloud Data Flow是我正在探索的选项之一 - 但是当使用 Autosys 安排作业时，它似乎可能不起作用。
在这方面我可以探索哪些其他选项，现在推荐的管理 spring-batch 作业的方法是什么？

要求是在条件流中将大对象从一个步骤传递到另一个步骤，我们也应该能够修改对象数据。根据文档，我们可以将其提升为作业执行侦听器，但从我所读到的这种方式的缺点是大对象不能存储在这种方法中，适合这种需求的生产级解决方案是什么