问题标签 [spring-cloud-task]

我们需要在我们的私有 Cloud Foundry 堆栈上按照 FRP（类似于 AWS Lambda）的方式开发按需应用程序。这是为了节省成本，否则总是运行低容量的应用程序。

仅当消息出现在我们的基于 JMS 的消息传递系统（例如 IBM MQ）上时，才需要触发/启动应用程序。作为低容量应用程序，它应该在所有其他时间保持停止。

根据对 Spring 文档的详细研究和搜索，在我看来，每当消息出现在源队列上时触发/启动我的微服务并在完成后将其关闭的理想解决方案将需要以下组合：Spring Cloud Data Flow + Spring Cloud Stream + Spring Cloud Task 作为技术栈。

在各种示例中，以下组合看起来像是在本地机器上启动 PoC 所需的组合：

https://github.com/spring-cloud/spring-cloud-task/tree/master/spring-cloud-task-samples/tasksink https://github.com/spring-cloud/spring-cloud-stream-samples /tree/master/sink https://github.com/spring-cloud/spring-cloud-dataflow/tree/master/spring-cloud-dataflow-server-local

但是，我仍然不确定如何将其全部插入并取得结果。

取得了一些进展，但构建此解决方案的完全清晰性仍不清楚。

据我所知，我们似乎需要...

1. 运行 Spring Cloud DataFlow 服务器
2. 运行 Spring Cloud DataFlow Shell 或 UI
3. 创建 Spring Cloud Stream sink 应用程序并运行它（我们是否也需要在 Maven 中安装它？）
4. 创建 Spring Cloud Task sink 应用程序并将其安装在 Maven Repo 中
5. 我还需要创建一个 Spring Cloud Task 吗？
6. 注册模块（但是这种情况下的模块是什么？）
7. 在 DF Server 中创建 Stream 并在其上部署
8. 更多的东西？

...实现结果。

有人可以在这方面帮助我并建议这里是否遗漏了任何构建块？如果上述问题的答案是已知的。

我的理解也有任何差距，我是否足够正确地假设它@EnableTask会使我的应用程序仅在触发时运行并保持它在其他情况下停止？

这些 Spring 组件如何相互关联/不同？每个在概念上代表什么？将它们一起使用还是它们是竞争项目？

• Spring Cloud 数据流
• 春天云流
• 春季云任务
• Spring Cloud 任务应用程序启动器
• 春季批次

据我了解，SC 任务只是要执行的“工作单元”，是一个短期/基于任务的微服务形式的处理单元。SC 数据流是任务的编排。这两个我（我认为我）了解它们之间的关系以及它们在概念上代表什么，但是很多文档和示例都在相同的上下文中讨论其他项目。

我还认为SC Task是Spring Batch的替代品，但在某些示例中，它们似乎暗示 Spring Batch 在 SC Tasks 中执行

我尝试在 Spring Cloud Data Flow for Yarn 上运行简单的 spring 批处理任务。不幸的是，在运行它时，我在 ResourceManager UI 中收到错误消息：

来自 Appmaster.stderror 的更多信息指出：

如果涉及到 Spring Cloud Data Flow，我正在尝试在 dataflow-shell 中运行：

真的很难知道为什么会发生这个错误。我确信从数据流服务器到纱线的连接工作正常，因为在标准 HDFS 本​​地化 (/dataflow) 中复制了一些文件（servers.yml，带有作业和实用程序的 jar），但它在某些方面无法访问。

我的 servers.yml 配置：

我很高兴听到任何信息或春纱提示和技巧来完成这项工作。

PS：作为hadoop环境我使用Amazon EMR 5.0

编辑：来自 hdfs 的递归路径：

我正在使用 File Source 流组件从目录中读取文件并将 File 实例发送到自定义处理器，该处理器读取文件并使用 TaskLauncher 接收器启动特定任务。如果我在目录中放置 5 个文件，则会同时启动 5 个任务。我想要实现的是让每个任务一个接一个地执行，所以我需要监视任务的状态以确保在启动另一个任务之前之前的任务已经完成。我有哪些实施方案？作为旁注，我在 Yarn 集群上运行它。

谢谢，

-坦率

我们正在研究在本地系统环境中实现 Spring Cloud 数据流，以处理日常事务的流和任务作业。在不使用 PCF、Kubernetes、YARN 或 Mesos 的情况下，我们正在考虑使用本地服务器进行编排。我们发现建议仅用于开发。在生产中使用它会有任何问题/问题吗？

当我在 Spring Cloud 任务应用程序中定义多个数据源时，它会引发异常。这就是我定义数据源的方式

我已经看到了放置 @Primary 的建议，像上面那样定义 TaskConfigurer ，但它们都不起作用。有人遇到过这种问题吗？

谢谢，尼尔

我正在尝试设置和执行分区批处理作业的 Spring Cloud Tasks 示例（https://github.com/spring-cloud/spring-cloud-task/tree/master/spring-cloud-task-samples/partitioned-batch -job ) 在 Spring Cloud Data Flow Server 中。

但是由于某种原因，分区作业任务中存在错误：

此作业的作业执行已在运行：JobInstance: id=2, version=0, Job=[partitionedJob]

分区作业是否与 Spring Cloud Dataflow 服务器不兼容？

我们有一个场景，我们必须处理数据库表中的每个数据条目。但这应该是用户在决定开始处理时触发的。

我们对流处理很满意，因为我们可以将每个流程步骤解耦到流应用程序中，并根据需要对其进行扩展。我们的另一个选择是让它成为批处理作业的任务。

如果我们要通过流来做到这一点，我们正在考虑一种方法来拥有一个 http 源（获取触发器）-> jdbc 源/处理器（检索每条记录）-> 应用程序处理器（处理每条记录）-> jdbc sink（保存到数据库）

有没有优雅的解决方案或其他方式通过spring cloud stream和spring cloud data flow来做到这一点？

根据这里的示例（实际上是时间戳任务），我实现了一个小任务类：

然后我创建了 Properties 类（在同一个包中）

但是在我在本地 Spring Cloud Data Server 上注册任务后，我看到了许多参数，我想这些参数是自动添加的。我的意思是参数，例如：

和别的...

是否有可能以某种方式隐藏（或删除）它们，以便在启动任务时我只能配置那些由我添加的参数（我上面的示例中的单个主机属性）？

我正在使用最新的Pivotal Cloud Foundry，即1.8 版。

运行cf feature-flags表示确实启用了任务创建。

我的 Spring 应用正在使用最新的Spring Cloud Tasks库，即版本 1.1.0.RELEASE，并且任务是通过@EnableTask注释启用的。

但是，当我cf push使用应用程序时，它会重新启动，就好像它被视为 LRP（长期运行进程）而不是任务一样......

有人可以帮忙吗？我错过了什么？

编辑：PWS Cloud Foundry 的最新版本现在是：1.9，但我的问题仍然相关。