问题标签 [spring-cloud-task]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
562 浏览

java - Spring Cloud DataFlow 多次运行 Composed Task

有没有办法告诉组合任务运行器(CTR)多次运行组合任务?

目前,在 SCDF 1.2.3.RELEASE 和 CTR 1.0.0.RELEASE 中,如果组合任务中的特定任务已经完成,CTR 不会再次执行它。

0 投票
2 回答
1051 浏览

spring-cloud-dataflow - spring-data-flow 任务示例

我正在将 spring-cloud-dataflow 与 taskcloud 模块一起使用,但是在容器中午餐一个简单的示例时遇到了一些麻烦。 小例子6.3 编写代码然后我已经部署它但是当我尝试执行它时给我一个

在我的评估中,我使用了Spring boot 示例 并在 scd 中运行,我添加了 @EnableTask 并配置了 ad sqlserver 数据源,但它不起作用。

我坚持使用 Spring Cloud 数据流,因为我读过 Spring Batch Admin 已停产,但 2.0.0.BUILD-SNAPSHOT 运行良好,并且一个小示例与 Spring Cloud 中发生的情况相反带有@task 注释的数据流。

可能是我的误解,但你能不能给我一个小例子,或者给我一些网址?

0 投票
1 回答
484 浏览

spring-cloud-stream - 调度组合任务

我正在尝试在 SCDF 中安排组合任务的启动,但一直无法找到执行此操作的方法。

我发现最接近的是 TriggerTask 源和 tasklauncher 接收器模块。见触发任务

这种方法的问题在于它采用任务工件的 URI 并使用任务的给定属性启动新的任务定义。因此,启动组合任务,甚至是预先存在的任务定义是不可能的。

tasklauncher 不只是像通过 shell 那样启动任务有什么原因吗?这样您就可以创建任务定义,并将名称提供给 TriggerTask 源。也许这个功能已经存在,而我一直忽略它。

否则,我可以编写自己的接收器,以某种方式调用任务启动,可能通过 API。

0 投票
1 回答
541 浏览

java - Spring Cloud Task 没有将元数据持久化到数据库?

我想创建一个Spring cloud task application(with @EnableTask) 将其输出保存到关系数据库,但同时我不希望它taskExecution在我的数据库中保存元数据。我想强制它始终使用内存映射作为其内部任务元数据。

有没有办法做到这一点?

0 投票
1 回答
542 浏览

spring-cloud-dataflow - Spring Cloud 数据流不显示 Spring Cloud 任务执行详情

Spring云数据流文档提到

当在外部执行任务(即命令行)并且您希望 Spring Cloud Data Flow 在其 UI 中显示 TaskExecutions 时,请确保公共数据源设置在两者之间共享。默认情况下,Spring Cloud Task 将使用本地 H2 实例,并且不会将执行记录到 Spring Cloud Data Flow 使用的数据库中。

我是 Spring Cloud 数据流和 Spring Cloud 任务的新手。有人可以帮助我如何为两者设置一个通用数据源。出于我的开发目的,我正在使用嵌入式 H2 数据库。我可以使用嵌入式查看 Spring Flo/Dashboard 中的任务执行详细信息吗?

0 投票
1 回答
128 浏览

spring-cloud-dataflow - 组合任务运行程序不显示执行时间

我创建了一个具有以下定义的组合任务运行器。SuccessTask 和 Notifier 是简单的 Spring Cloud Task 春季启动应用程序,它们只打印 Hello World 并返回退出代码 0。当我创建单个任务时,我能够看到开始和结束时间;但是,当我将它们结合在一起时,我看不到时代。请参阅下面的 ID 4。

我已将每个单独的任务配置为指向 Spring Cloud 本地数据流服务器的嵌入式 H2 DB。我是否也需要为组合任务运行器做点什么?如果是这样,怎么做?

0 投票
1 回答
169 浏览

spring-cloud-stream - tasklaunchrequest-transform 忽略有效负载

我有一个流包括

来源 | 处理器P1 | 处理器P2 | 处理器P3 | 处理器P4 | 下沉

我正在ProcessorP1用作我的tasklaunchrequest-transform处理器。我正在使用它通过task-launcher. 现在我需要将我的有效负载从 ProcessorP1 传递到 ProcessorP2 并调用任务;TaskLaunchRequest无法携带有效载荷,因为它被忽略了。

https://github.com/spring-cloud-stream-app-starters/tasklaunchrequest-transform/blob/master/spring-cloud-starter-stream-processor-tasklaunchrequest-transform/README.adoc

有没有办法将有效负载传递给我的流中的下一个处理器?

0 投票
1 回答
325 浏览

kubernetes - Spring Cloud Task 无法在 SCDF Kubernetes 上运行

我使用 SCDF Kubernetes Server 来部署 Spring Cloud Task。当我在 SCDF Kubernetes 服务器上启动 Spring Cloud Task 时,我发现了两个奇怪的问题,请参见以下详细信息:

  1. 部署 Spring Cloud Task 时,会在 Kubernetes 上生成带参数的 Pod,参见 Pod 图片。问题是 Pod 的参数不能传递给 Spring Cloud Task。
  2. 当我启动 Spring Cloud Task 时,如果我想添加一些格式为 app.mytask.test=aaa 的属性,我发现该属性无法传递给 Spring Cloud Task,甚至覆盖所有参数。

我错过了什么吗?或错误?请给我一些建议,谢谢

0 投票
1 回答
468 浏览

spring-cloud-dataflow - Spring Cloud 数据流和 Spring Cloud 任务批处理作业

我们一直在以下用例中使用 Spring Batch

  1. 从文件中读取数据,处理并写入目标数据库(文件到达时开始批处理)
  2. 从远程数据库读取数据,处理并写入目标数据库(按预定时间间隔运行,由 Autosys 触发)

由于计划将所有在线应用程序迁移到 spring-boot 微服务和 PCF,我们正在考虑在批处理方面进行类似的练习,如果它可以增加价值。

在新世界中,spring cloud 批处理作业任务将从 S3 存储(ECSS3)读取文件。
我在这里寻找好的设计(尽可能远离过多的管道/过滤器和编排),输入数据范围从 1MM 到 20MM 记录

  1. ECSS3 将通过发送 http 请求来通知文件到达,工作流将是 - could stram httpsource->launch could 批处理作业任务,该任务将从对象存储中读取,处理并将记录保存到目标数据库
  2. 从 PCF 调度程序触发的 Spring Cloud Job Task 从远程数据库读取,处理并保存到目标数据库

通过上面的设计,我看不到将spring批处理作业包装成云任务并在带有spring数据流的PCF中运行的价值

我在这里错过了什么吗?在这种情况下,PCF/SpringClouldDataFlow 是不是有点矫枉过正?

0 投票
1 回答
1200 浏览

spring - 数据流服务器上的组合任务运行程序引发的 DeadlockLoserDataAccessException

我在 Pivotal Cloud Foundry 上部署了一个 Spring-cloud-dataflow 服务器。在服务器上,运行三个 spring-batch 任务的管道。管道被封装在一个组合任务中。

当我启动这个组合任务的执行时,组合任务运行器开始执行第一个批处理作业。第一批连接到两个不同的数据源:Spring 元数据模式(SCDF、SCT 和 SB)的共享元数据数据源和我的业务数据的业务数据源。数据库是 MySQL。第一个任务的执行工作正常,但是当组合任务运行器尝试从任务存储库(元数据数据源)检索任务执行状态时,它会引发以下异常并停止整个管道:

从我的 spring-cloud-task / spring-batch 访问多个数据源的代码如下:

批量配置类:

任务配置类:

最后,这是 JPAConfiguration 类:

使用的版本:

  • 组合任务运行器:1.0.0.RELEASE
  • 春天云任务:1.2.2.RELEASE

我曾尝试使用不同的检查间隔时间属性设置来启动组合任务,但这还没有定论。

我已经上传了一个带有简约版本代码的 GitHub 存储库,其中包含有关如何在自述文件中重现的说明:https ://github.com/JLauzonG/deadlock-bug-stackoverflow

任何线索如何解决这个问题?