问题标签 [spring-cloud-dataflow]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
301 浏览

cloud-foundry - spring 云数据流服务器中如何进行 LDAP 认证?

目前 Spring Cloud 数据流支持 oAuth 身份验证,我想使用 LDAP 在 Cloud Foundry 上对我的 Spring Cloud 数据流服务器进行身份验证。有什么办法可以做到吗?,有没有可用的文档?

0 投票
0 回答
118 浏览

spring-aop - 将 LoggingAspect 与 Spring Cloud Data Flow Custom Sink 一起使用时出现异常

我正在尝试在 Spring Cloud Data Flow 中编写自定义接收器。一切正常。然后我介绍了 Logging Aspect for Logging,我开始遇到这个问题

通过调查,似乎有些 jar 类冲突,但无法找出确切的问题。

0 投票
1 回答
430 浏览

spring-xd - 在 Spring Cloud Data Flow 中使用来自 kafka 源的数据时出现异常

尝试将 kafka 主题作为源时,我遇到了 kafka 异常

这是我创建流的方式

当我运行它时,我在日志文件中遇到异常

我看到一些线程提到设置此属性 - 'spring.cloud.stream.bindings.input.consumer.headerMode=raw' 会有所帮助,但不知何故这不起作用。

0 投票
1 回答
265 浏览

hadoop - 启用 Kerberos 的 Hadoop 集群中的 Spring Cloud 数据流

spring-cloud-data-flow-yarn 和 hdfs sink 能否在启用 kerberos 的 Hadoop 集群中工作?

0 投票
1 回答
148 浏览

spring-cloud-stream - Spring Cloud DataFlow 和 Kafka 安全性

是否可以为 Apache Kafka 的 Spring Cloud DataFlow 配置身份验证?我在哪里可以看到示例?

谢谢。

0 投票
2 回答
573 浏览

spring-cloud-stream - 既是接收器又是源的 Spring Cloud Stream App

我可以创建同时具有绑定 Sink 和 Source 的 Spring Cloud Stream App 的 Spring Boot 应用程序吗?

0 投票
1 回答
148 浏览

spring-cloud-stream - spring cloud 数据流组件碰撞

我刚开始使用spring cloud dataflow项目。

我尝试使用http://start-scs.cfapps.io推荐的 spring initialr 创建一些自定义组件

我发现快速选择的一些组件正在发生冲突

例如,我生成了一个具有以下两个启动器的

我得到的错误是(使用漂亮的 spring boot 1.4.0 诊断)是

我还发现文件和兔子组件甚至没有被引入,除非我明确导入它们的配置文件。

0 投票
2 回答
1842 浏览

cloud-foundry - 无法从 Spring Cloud 数据流流启动任务

我在 Spring Cloud Data Flow 中注册了我的任务应用程序,为它创建了一个定义,状态显示为“未知”。我创建了流并尝试通过任务接收器启动任务,但出现错误:

如何从任务接收器启动任务?我错过了什么吗?任何帮助表示赞赏。我的另一个问题是如何在我的任务中访问通过 TaskLaunchRequest 发送的有效负载?S1 http | step1: 变压器兔 | 日志 S2 :S1.step1 > 过滤器 --expression=payload.contains('CUSTADDRMODRQ_V15') | 任务处理器 | 任务接收器

task-sink 正在启动 TaskLaunchRequest 中 uri 提供的任务。它正在寻找资源,如日志中所示 OUT 使用管理器 EnhancedLocalRepositoryManager 优先级 10.0 用于 /home/vcap/.m2/repository OUT 使用传输器 HttpTransporter 优先级 5.0 用于https://repo.spring.io/libs-snapshot和终于失败了。

该任务部署在我们的存储库中,如前所述,我也为它注册并创建了定义。

这是在 cf 环境中,我使用的是 SCDF 服务器 1.0.0.M4。在任务接收器的 application.properties 中,我提供 maven.remote.repositories.snapshots.url=**

任务创建 fis-ifx-event-task --definition "fis-event-task"

我的目标是从流中启动任务。

谢谢提供信息。我实际上正在使用 BUILD-SNAPSHOT,因为我无法在 1.0.0M4 版本中启用 taks。这是我正在使用的 spring-cloud-dataflow-server-cloudfoundry-1.0.0.BUILD-20160808.144306-116。我能够注册和创建任务定义。即使我使用您团队提供的示例任务模块,任务定义的状态也显示为“未知”。但是当我启动流的流程并且当 task-sink 尝试启动任务时,它无法找到 maven 资源。创建任务定义时,是否部署了任务模块?我在 Pivotal Apps Manager 中看不到任何应用程序。如前所述,我在 application.properties 文件中为 task-sink 应用程序提供了 maven.remote.repositories.snapshot.url。我观察到的另一件事是,当我从数据流 shell 手动启动任务时,它会给出错误 CF-UnprocessableEntity(10008): The request is semantically invalid: Unknown field(s): 'staging_disk_in_mb', 'staging_memory_in_mb' 还有一条消息说'源为空'。目前该任务应该打印时间戳并且不依赖于任何输入。


我在帖子前面提供了我正在使用的流。如您在此处看到的,Sink 正在接收带有 uri 和有效负载的 TaskLaunchRequest,并且无法启动任务。

0 投票
1 回答
513 浏览

spring - 如何在 SCDF 中监控流媒体应用程序?

我是 Spring Cloud Data flow 和 Stream Cloud Streaming Applications 的新手。目前我的项目图如下所示:

在此处输入图像描述

我使用 zuul API 网关将来自外部客户端的 POST 请求路由到名为 Composite 的微服务。Composite 使用 REST POST 创建流并部署到 Spring Cloud Data Flow Server。据我所知,微服务 mongodb 和文件作为共存的 JVM 进程运行。如果我的客户端必须知道流的状态,处理数据的状态,复合微服务应该如何与 Spring Cloud Data Flow Server 交互?目前,当我进行 POST 调用以部署流时,我什至没有从 SCDF 服务器获得状态。SCDF 是否公开任何挂钩来查看单个应用程序?另外,如何更改流@runtime 以创建动态网格?

目前我正在使用本地 Spring Cloud Data Flow Server 进行开发。

0 投票
2 回答
6598 浏览

spring-cloud-dataflow - spring-cloud-dataflow 是否提供对定义为任务的调度应用程序的支持?

我一直在研究使用 spring-cloud-dataflow 中使用 spring-cloud-task 构建的项目。在查看了示例项目和文档后,似乎表明任务是通过仪表板或外壳手动启动的。spring-cloud-dataflow 是否提供任何调度任务定义的方式,以便它们可以在例如 cron 计划上运行?即您能否创建一个本身不了解计划的 spring-cloud-task 应用程序,但将其部署到数据流服务器并在那里配置计划?

在我看过的帖子和博客中,我注意到以下几点:

https://spring.io/blog/2016/01/27/introducing-spring-cloud-task

之后的一些问答暗示这是一种可能性,并提到了触发器,但我认为这是在发布之前讨论过的。

任何建议将不胜感激,非常感谢。