问题标签 [spring-data-flow]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

7 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
582 浏览

spring-batch - spring-cloud-dataflow-server-local 为 MySQL 启动？

我正在使用 Spring Batch 处理 Spring Data Flow。在这个例子中，我下载了 spring-cloud-dataflow-server-local-1.7.4.RELEASE并简单地运行它java -jar spring-cloud-dataflow-server-local-1.7.4.RELEASE.jar，但它只是试图连接到 H2 数据库。

如果我们可以在 MySQL 上启动它，有什么办法吗？

0 投票
1 回答
718 浏览

java - 如何在扩展 http 应用程序启动器时访问 Kafka 消息头

我正在尝试根据此处的示例构建一个自定义 http 转换器。而kafka binder源代码来自这里

我在 SCDF 中使用 kafka 作为活页夹。场景是当调用 http 时，我在函数中解析消息并将 AVRO 消息放入 kafka。

当定义的函数如下所示时，示例应用程序可以正常工作。该应用程序运行良好，可以将 avro 消息转换并放入 kafka 主题，并且可以正常运行。

要求是有一个附加的标头，用于基于标头的附加下游处理。我无法访问我拥有的引导版本中的标题。2.1.12。

我基于云流文档中的某些其他示例所做的更改是以这种方式定义功能

但是这次消息没有转移到kafka主题，而是看到以下错误。

我目前正在使用 kafka avro 序列化器版本 5.3.1。除了 avro 有效负载之外，我是否需要使用任何其他版本或其他方式来确保我可以将标题添加到主题的消息中。

0 投票
0 回答
117 浏览

java - Spring Cloud Data Flow Kinesis Demo 不工作

我正在使用 Spring Cloud Dataflow 示例：https ://github.com/spring-cloud/spring-cloud-dataflow-samples/tree/master/dataflow-website/recipes/kinesisdemo

生产者和消费者正在运行且没有任何错误，并且还创建了 Kinesis 流，但消费者没有打印任何输出，但生产者在 Sysouts 之后/之前打印。有人遇到这种情况吗？此示例应用程序是否适用于任何人？如果我缺少任何东西，如何解决这个问题？

消费者控制台如下所示：

0 投票
0 回答
37 浏览

java - 在 Spring Cloud Dataflow 中启动任务时出现 NullPointerException - 在 Kubernetes 环境中

我正在 Kubernetes 集群环境中设置 Spring Cloud Dataflow。我只在 Kubernetes 部署中遇到了这个问题。仅供参考，我正在使用没有船长的服务器 2.7.0 ( https://dataflow.spring.io/docs/2.7.0.SNAPSHOT/recipes/batch/batch-only-mode/ )。当我们在本地和本地 docker 内部部署它时，它运行得非常好。但是，当我们将它部署到 Kubernetes 时，我们可以从私有 ACR 中拉取示例数据或 Docker 映像，但是当我们尝试启动它（甚至是示例数据）时，我们得到了这个错误：

我也尝试从 pod 内部使用 shell - 同样的问题，nullPointerException。

你知道如何减轻这种情况吗？谢谢你。

0 投票
1 回答
20 浏览

kubernetes-helm - Spring Data Flow Helm 图表：有没有办法在 helm 图表中声明应用程序和任务的创建？

我遇到的唯一方法是按照文档使用 curl 命令：https ://docs.spring.io/spring-cloud-dataflow/docs/2.7.1/reference/htmlsingle/#resources-app-registry-post

这使用 curl 命令来访问 api。我可以为其开发一个脚本，但我想在 helm 图表中进行设置，以便在部署 helm 图表时创建这些任务和应用程序。有任何想法吗？

0 投票
1 回答
53 浏览

java - 部署后Spring数据流没有响应

我尝试在spring数据流中为一些应用程序进行部署，通常每个diploi需要几分钟并且成功或失败。但这一次外交花费的时间比平时要长。有一次我按下了“取消部署”，因为系统没有响应。在 UNKNOWN 模式下 Stream all 闪烁。无法重新部署。当我尝试执行偶极子时，我Failed to upload the package. Package [test-orders:1.0.0] in Repository [local] already exists.从 ui收到错误

CrashLoopBackOff当我请求豆荚的状态时，我得到 2 个带有状态的豆荚

  • 我重新启动了所有 podkubectl -n **** rollout restart deploy
  • 我试着跑dataflow:>stream undeploy --name test-orders
  • 我从 EKS 中删除了新的 docker 映像
  • 将 skipper_status 从 FAILED 更改为 DELETED

问题依然存在。

我真的很茫然。

0 投票
0 回答
21 浏览

java - 为什么spring数据流重启后流状态为UNKNWON

我已经使用本手册安装了 spring 数据流，使用 docker-compose (mysql, dataflow, skipper)

https://dataflow.spring.io/docs/installation/local/docker/

除了两个问题外，该构造似乎正在工作。

  1. Dataflow 无法在应用程序导入后立即从 jar 中读取应用程序属性。我必须重新启动数据流/船长，然后所有应用程序属性都在那里。

  2. 1可能不是问题，但重启后，

码头工人-撰写下来；码头工人组成 -d

Stream/Runtime 部分下的已部署流的状态为 UNKNOWN。

截图运行时部分

我无法取消部署流，因为缺少菜单项“取消部署”。我只能销毁流并再次创建/部署它。

屏幕截图菜单

这可能是一个大问题，因为每次服务器重新启动时，都必须重新创建所有流。它不是很可靠。

我试图在容器外挂载船长的 /tmp

Skipper 和 dataflow 配置为使用在其他容器中运行的 mysql 数据库，例如手册中的 docker-compose.yml。重启后数据库似乎恢复正常，因为所有注册的应用程序、任务、作业都在重启后出现。除了状态为 UNKNOWN 的正在运行的流。

数据流服务器如何正确配置/重新启动？

谢谢


12345678910