问题标签 [spring-cloud-dataflow]

环境

• Pivotal Cloud Foundry DEV
• Spring Cloud 数据流服务器
• Spring Cloud 数据流外壳

Maven 特定环境变量（Spring Cloud 数据流服务器）

MAVEN_LOCALREPOSITORY =C:/Users/xx/.m2/repository/ MAVEN_REMOTE_REPOSITORIES_REPO1_URL= http://repo.spring.io/libs-snapshot

部署包含位于远程存储库中的应用程序的流工作正常！部署包含位于本地存储库中的应用程序的流崩溃 (org.springframework.cloud.dataflow.rest.client.DataFlowClientException: failed to resolve MavenResource:....)。

为什么？

我有时会收到此错误：

2016-10-20T15:38:24+0200 WARN main o.s.s.c.SimpleParser:131 - Command 'app register --name email --type source --uri <uriToMyDockerImage>' was found but is not currently available (type 'help' then ENTER to learn about this command)

在其他时候，它按预期工作。

请注意，我以--dataflow.uri=<url> --spring.shell.commandFile=<path>.

为什么app register命令不可用？我能做些什么来使它可用？

Kubeadm我已经使用SCDF Kubernetes Server建立了一个小型 Kubernetes 集群，并在其上部署了它。当我使用 Shell 连接并部署流时，应用程序变为Running，但Ready列显示0/1而不是1/1。然后 Kubernetes 继续重新启动应用程序。

kubectl get pods NAME READY STATUS RESTARTS AGE kafka-szv8s 1/1 Running 0 56m mysql-1wkls 1/1 Running 0 56m scdf-qw5ix 1/1 Running 0 56m ticktock-log-0-qqmf3 0/1 Running 4 20m ticktock-time-df069 0/1 Running 2 20m

SCDF 是否定义了ReadinessProbe导致这种行为的？

关于如何调试的任何想法？

我已经安装了带有 Kafka-Zookeeper 和 Spring Cloud Dataflow 1.0.3 的单节点 Apache YARN。

一切正常，但是当我做了一些部署示例时，例如：

流创建 --name "ticktock" --definition "time | hdfs --rollover=100" --deploy

http --port=8000 | 日志 --name=logtest --level=INFO

流的状态永远不会停留在“已部署”。它在“未部署”->“部分”->“已部署”上不断变化。

但是，YARN 应用程序部署成功，但就像 Spring Cloud Dataflow 服务器实例和 Apache Hadoop 之间的通信一样，它不断失败。

这可能是什么问题？

提前致谢！

我想使用 REST API 在 Spring Cloud 数据流上定义和部署一个新流。但是在文档中，没有关于我需要如何构建“POST”调用的参考。

当我向http://localhost:9393/streams/definitions发送 POST 调用 时：

我得到答案：

任何人都知道使用 REST API 的格式是什么？

非常感谢 ！

我们需要在我们的私有 Cloud Foundry 堆栈上按照 FRP（类似于 AWS Lambda）的方式开发按需应用程序。这是为了节省成本，否则总是运行低容量的应用程序。

仅当消息出现在我们的基于 JMS 的消息传递系统（例如 IBM MQ）上时，才需要触发/启动应用程序。作为低容量应用程序，它应该在所有其他时间保持停止。

根据对 Spring 文档的详细研究和搜索，在我看来，每当消息出现在源队列上时触发/启动我的微服务并在完成后将其关闭的理想解决方案将需要以下组合：Spring Cloud Data Flow + Spring Cloud Stream + Spring Cloud Task 作为技术栈。

在各种示例中，以下组合看起来像是在本地机器上启动 PoC 所需的组合：

https://github.com/spring-cloud/spring-cloud-task/tree/master/spring-cloud-task-samples/tasksink https://github.com/spring-cloud/spring-cloud-stream-samples /tree/master/sink https://github.com/spring-cloud/spring-cloud-dataflow/tree/master/spring-cloud-dataflow-server-local

但是，我仍然不确定如何将其全部插入并取得结果。

取得了一些进展，但构建此解决方案的完全清晰性仍不清楚。

据我所知，我们似乎需要...

1. 运行 Spring Cloud DataFlow 服务器
2. 运行 Spring Cloud DataFlow Shell 或 UI
3. 创建 Spring Cloud Stream sink 应用程序并运行它（我们是否也需要在 Maven 中安装它？）
4. 创建 Spring Cloud Task sink 应用程序并将其安装在 Maven Repo 中
5. 我还需要创建一个 Spring Cloud Task 吗？
6. 注册模块（但是这种情况下的模块是什么？）
7. 在 DF Server 中创建 Stream 并在其上部署
8. 更多的东西？

...实现结果。

有人可以在这方面帮助我并建议这里是否遗漏了任何构建块？如果上述问题的答案是已知的。

我的理解也有任何差距，我是否足够正确地假设它@EnableTask会使我的应用程序仅在触发时运行并保持它在其他情况下停止？

我正在从事一个学术项目，我需要将 SCDF 作为 SaaS 提供。因此，不同的用户应该能够连接到他们的 SCDF 并访问、部署和管理他们的流和任务。当然，其他用户不应该访问那些私有流和任务。从我的不同阅读中，我发现 SCDF 具有一些 LDAP 功能，我什至发现默认使用单用户模式。但是，据我了解，LDAP 用于验证服务器而不是用户，我不确定是否存在用户内容分离。如果有用户管理，能否给我定位或提供一些相关的读物和资料。否则，您能否给我一些关于实施此类选项的“最佳”方式的提示。

这些 Spring 组件如何相互关联/不同？每个在概念上代表什么？将它们一起使用还是它们是竞争项目？

• Spring Cloud 数据流
• 春天云流
• 春季云任务
• Spring Cloud 任务应用程序启动器
• 春季批次

据我了解，SC 任务只是要执行的“工作单元”，是一个短期/基于任务的微服务形式的处理单元。SC 数据流是任务的编排。这两个我（我认为我）了解它们之间的关系以及它们在概念上代表什么，但是很多文档和示例都在相同的上下文中讨论其他项目。

我还认为SC Task是Spring Batch的替代品，但在某些示例中，它们似乎暗示 Spring Batch 在 SC Tasks 中执行

我已经在虚拟纱线集群上部署了 Spring Cloud 数据流。启动服务器./bin/dataflow-server-yarn正确执行。并返回

然后我可以开始./bin/dataflow-shell，从这里我可以导入应用程序创建和列出流而不会出错；但是，如果我尝试部署创建的流，则会发生以下连接错误

将IP地址更改为本地主机，产生相同的结果。这是我的 server.yml

在我的云流应用程序中，我将spring-cloud-starter-stream-processor-tasklaunchrequest-transform启动应用程序用作任务处理器。

启动器在本地构建并安装在本地 Maven 存储库中。

用于启动我的本地 Dataflow Server 和 DF Shell，然后注册我的应用程序并创建兼部署流的命令如下：-

• 在本地 maven 中安装任务启动器应用程序 -mvn clean install
• 在本地 maven 中安装任务处理器应用程序 -mvn clean install

• 在本地 maven 中安装任务应用程序 -mvn clean install

• 在本地构建 Dataflow Server - mvn clean package（将 remoteRepo 位置更改为我们的企业 maven 存储库）

• 本地启动 DF 服务器 -mvn spring-boot:run

• 构建数据流外壳 -mvn clean package

• 启动 DF Shell -mvn spring-boot:run

• 使用 Rabbit 绑定导入开箱即用的启动应用程序stream-applications-rabbit-maven

• 注册应用程序 -

  1. app register --name task-processor --type processor --uri maven://org.springframework.cloud.stream.app:spring-cloud-starter-stream-processor-tasklaunchrequest-transform:jar:1.1.0.BUILD-SNAPSHOT
  2. app register --name task-launcher-local --type sink --uri maven://org.springframework.cloud.stream.app:task-launcher-local-sink-rabbit:jar:1.0.4.RELEASE

• 创建流 - stream create foo --definition "rabbit --rabbit.queues=cloud-stream-source --rabbit.requeue=true --spring.rabbitmq.host=localhost --spring.rabbitmq.port=5672 --spring.cloud.stream.bindings.output.contentType='text/plain' | task-processor --uri=maven://com.example:thumbnail-generator:0.0.1-SNAPSHOT | task-launcher-local" --deploy

但是，由于task-processor的启动失败，流的部署失败。处理器日志中记录的错误是：

没有主要清单属性，在 /Users/abc/.m2/repository/org/springframework/cloud/stream/app/spring-cloud-starter-stream-processor-tasklaunchrequest-transform/1.1.0.BUILD-SNAPSHOT/spring- cloud-starter-stream-processor-tasklaunchrequest-transform-1.1.0.BUILD-SNAPSHOT.jar

现在有两点需要提高：

1. 日志中提到的 maven 存储库位置是 MacOS 的默认位置，而不是我本地 maven 配置中的一个设置 (/Users/abc/myrepo/.m2/repository)
2. 该错误对starter app的内置jar文件有效 - spring-cloud-starter-stream-processor-tasklaunchrequest-transform. 如果需要进行任何自定义以使其可运行且可用于我的流应用程序，这让我感到困惑。

我尝试将启动应用程序更改为可运行的 Spring Boot 应用程序，并将该版本安装在我的本地存储库中，但除非应用程序查看正确的本地存储库（而不是默认存储库），否则我无法使用它。

我相信这是应用程序的一个问题，它缺乏本地 Maven 设置的可见性，因此采用默认值。

任何输入都会有所帮助。