问题标签 [spring-cloud-dataflow]

我有一个应用程序，我在 Kubernetes 集群上使用 Spring Cloud Dataflow 作为流的一部分部署。该应用程序的 Docker 映像包含一条VOLUME指令，我想在主机上指定一个目录以将卷挂载到。（这是集群中所有主机都可以访问的网络附加存储。）

我没有看到任何东西KubernetesDeployerProperties。

这可能吗？

我有一个简单的需要，将 Stream 应用程序部署到我们的内部云代工厂实例。该流有一个RabbitMq 队列作为它的消息源，并且定义如下以便在 PC 上本地运行它：

stream create myMessageStream --definition "rabbit --rabbit.queues=cloud-stream-source --rabbit.requeue=true --spring.rabbitmq.host=localhost --spring.rabbitmq.port=5672 --spring.cloud.stream.bindings.output.contentType='text/plain' | task-processor --uri=maven://...

该应用程序在 PC 上运行流畅，但为了尝试在 PCF 上的 PaaS 平台上设置它，我不确定如何定义流的源。

RabbitMq 服务是在 PaaS 上创建的，只需要与流绑定即可实现，但我对如何做到这一点缺乏了解。

我正在按照SCDF 上的 Spring Docs为 Cloud Foundry 执行此操作的步骤，但仍停留在此阶段。

如果你知道怎么做，请分享。

我尝试在 Spring Cloud Data Flow for Yarn 上运行简单的 spring 批处理任务。不幸的是，在运行它时，我在 ResourceManager UI 中收到错误消息：

来自 Appmaster.stderror 的更多信息指出：

如果涉及到 Spring Cloud Data Flow，我正在尝试在 dataflow-shell 中运行：

真的很难知道为什么会发生这个错误。我确信从数据流服务器到纱线的连接工作正常，因为在标准 HDFS 本​​地化 (/dataflow) 中复制了一些文件（servers.yml，带有作业和实用程序的 jar），但它在某些方面无法访问。

我的 servers.yml 配置：

我很高兴听到任何信息或春纱提示和技巧来完成这项工作。

PS：作为hadoop环境我使用Amazon EMR 5.0

编辑：来自 hdfs 的递归路径：

我正在尝试将 MS SQL 驱动程序与带有本地数据流服务器的 jdbc 应用程序一起使用 jdbc --url='jdbc:sqlserver://server' --driver-class-name=com.microsoft.sqlserver.jdbc.SQLServerDriver

正如预期的那样，驱动程序不在类路径中，我 Cannot load driver class: com.microsoft.sqlserver.jdbc.SQLServerDriver在部署流时得到。

我还尝试使用 -cp 参数调用数据流服务器：

java -cp "C:\path\to\msjdbc.jar " -jar spring-cloud-dataflow-server-local-1.0.1.RELEASE.jar- 结果相同。

任何人都可以帮助解决这个问题吗？

谢谢

在我们的用例中，我们需要创建一个 Message Stream 应用程序并将其部署到我们的私有 Cloud Foundry 环境中。流应用程序旨在侦听 RabbitMq 队列并触发流中定义的任务。

为了达到同样的效果，我们cloud-dataflow-server-cloudfoundry通过在 Mac 上本地运行它来使用。

以下是用于实现它的一组命令：-

• 设置 Maven 远程仓库 export MAVEN_REMOTE_REPOSITORIES_REPO1_URL=https://ftl.abc.com/NEXUS

• 设置 Cloud Foundry 目标 -

  /li>

• 启动数据流服务器 -

  1. 使用 Spring Cloud 属性构建Dataflow Server CF ，如下所示：

     • spring.name=数据流
     • spring.cloud.config.uri= http://localhost:8888
     • spring.cloud.dataflow.features.tasksEnabled=true
     • spring.cloud.dataflow.features.streamsEnabled=true
     • spring.cloud.deployer.cloudfoundry.task.taskTimeout=360

  2. 在本地启动 DF Server CF -java -Djavax.net.ssl.trustStore=/Users/apache-maven-3.3.9/conf/keystore.jks -Djavax.net.ssl.trustStorePassword=password -jar spring-cloud-dataflow-server-cloudfoundry-1.1.0.BUILD-SNAPSHOT.jar

• 启动 DF 外壳
• 导入入门应用 -stream-applications-rabbit-maven
• 注册应用程序 -
  1. app register --name task-processor --type processor --uri maven://org.springframework.cloud.stream.app:tasklaunchrequest-transform-processor-rabbit:jar:1.1.0.BUILD-SNAPSHOT
  2. app register --name task-launcher-local --type sink --uri maven://org.springframework.cloud.stream.app:task-launcher-local-sink-rabbit:jar:1.0.4.RELEASE
• 创建和部署流 - stream create myMessageStream --definition "rabbit --rabbit.queues=cloud-stream-source --rabbit.requeue=true --spring.rabbitmq.host=host.abc.com --spring.rabbitmq.port=5672 --spring.cloud.stream.bindings.output.contentType='text/plain' | task-processor --uri=maven://com.example:thumbnail-generator:0.0.1-SNAPSHOT | task-launcher-local" --deploy

但是，部署失败并出现TimeoutException，但在 Dataflow 服务器日志或应用程序日志中都没有明确的原因。

Cloud Foundry 空间中创建的应用程序都在 CF 控制台上显示已停止。

这让我一无所知，我对此有几个问题要了解可能的根本原因：

1. 如果 Stream 部署成功，通过 Stream 部署到 CF 的应用程序的状态应该是什么？这些显示为已启动还是已停止？
2. 已部署应用程序的名称中嵌入了几个随机词，例如 dataflow-nonvalueable-overapprehension-myMessageStream-rabbit。据我了解，这是赋予 Dataflow Server 实例的名称，并被插入以进行引用。有没有办法自定义这个名字？这将使我能够提前知道应用程序的名称，然后在它们的日志上运行。

任何想法/帮助将不胜感激。

我们正在研究在本地系统环境中实现 Spring Cloud 数据流，以处理日常事务的流和任务作业。在不使用 PCF、Kubernetes、YARN 或 Mesos 的情况下，我们正在考虑使用本地服务器进行编排。我们发现建议仅用于开发。在生产中使用它会有任何问题/问题吗？

为故障转移设置 SCDF 服务器的最佳实践是什么？我说的是 SCDF 服务器本身。不是您在 SCDF 中部署的流和任务。我打算使用 Kubernetes 作为运行时。

我正在使用 spring 云流启动器构建管道，httpclient处理器是其中的步骤之一。我的要求是调用远程 http 服务器并用响应丰富 原始消息。问题是httpclient处理器不允许从原始消息传播属性，它只允许根据回复正文评估消息表达式。

之前有人建议我在消息头中存储一些属性httpclient，但出现MessageHeaders is immutable异常。

所以，基本上，我无法继续管道，httpclient因为我缺少原始消息所需的属性。

详细讨论见github

请指教。
谢谢

我正在寻找准备好运行并准备好部署 Spring Cloud Data Flow 的图像，最好使用 HDFS Fuse 文件系统驱动程序。最好带有示例和文档。

我已经寻找了一些教程 - 但是有太多的步骤和配置选项需要考虑，我宁愿从现有的图像/示例开始，它可能部分满足我的需求，并从那里开始我的第一步。

我有什么选择？

我有以下简单的代码：

和以下属性：

我有一个带有96 k 消息的单个分区的本地 kafka 主题。kafka 库提供的简单 kafka 消费者在大约4 秒内使用这些消息。

但是，上面的代码需要将近1 分钟！

显然，这是我们的应用程序所关心的问题，以前有人经历过吗？我在这里错过了什么吗？

Visual VM 也没有标记任何内容。

PS：我刚刚尝试了自动提交，但我仍然看到了糟糕的表现。