问题标签 [spring-cloud-dataflow]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
312 浏览

spring-integration - spring XD - http-client 添加应用程序/json 标头

我已经在我的 PaaS 环境中安装了 Spring XD,对于遗留问题,我坚持使用 1.0.0.M1 版本。(参见参考文档)。我的目标是使用该http-client模块调用 http rest API。我的流定义是:

http | httpclient --url='''<my_url>''' --http-method=POST --mappedRequestHeaders=HTTP_REQUEST_HEADERS | log --expression=#root

不幸的是,由于http模块仅将有效负载发送到httpclienthttpclient由于缺少内容类型标头,因此返回 415 错误。

考虑到我既不能添加新模块也不能修改现有模块(在这样的版本中,您只能引用 spring 存储库),我想使用一个tranform模块来注入 content-type 标头。

我怎样才能实现这样的目标?

非常感谢您的帮助。

编辑

我刚刚发现 httpclient 处理器(链接)支持 headersExpression 用于派生要使用的 http 标头映射的 SpEL 表达式。然而:

给出以下解析异常:

0 投票
1 回答
483 浏览

spring - 将 lib 文件夹中的 Jar 注册为 Spring Data Flow 中的应用程序

我正在尝试使用 Spring Data Flow (Mesos) 创建一个独立的应用程序。为此,我想注册我的项目的 maven 依赖项的接收器/处理器/源。

我知道 spring-data-flow 接受 classpath:// 作为引用方案,但它似乎无法找到位于资源文件夹或(最佳)lib 文件夹中的任何 jar。

如何正确引用自包含 jar 中的文件?

0 投票
1 回答
576 浏览

spring - 无法使用 Spring 云数据流将流数据写入接收文件

我正在尝试使用 shell(非 UI)使用 Spring Cloud 数据流创建数据流管道。Source 是 twitterstream,sink 是 File。这是我为配置文件接收器所做的:

dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt"

我可以使用来自 kafka 主题的数据,但无法在上面的接收器位置写入,甚至没有创建文件。部署流时没有错误日志。最终我会将其从本地文件系统更改为 HDFS。有什么遗漏吗?

PS:我尝试了默认文件接收器(没有定义),它应该在 /tmp/xd/output 中创建默认文件,也没有发生。

0 投票
1 回答
85 浏览

spring-cloud-dataflow - 如何将输入重定向到Shell?

我试过java -jar shell.jar < commands.txt了,但这似乎不起作用。有人会认为 shell 会支持重定向以在脚本中使用。

0 投票
3 回答
3800 浏览

spring - 如何在spring cloud stream和kafka中从同一主题发送和接收

我有一个spring-cloud-stream带有 kafka 绑定的应用程序。我想从同一个可执行文件(jar)中发送和接收来自同一个主题的消息。我的频道定义如下:- public interface ChannelDefinition { @Input("forum") public SubscriableChannel readMessage(); @Output("forum") public MessageChannel postMessage(); }

@StreamListener用来接收消息。我收到各种意外错误。有时,我收到

  1. 没有为所有其他消息找到 unknown.message.channel 的调度程序
  2. 如果我将命令行 kafka 订阅者附加到上述论坛主题,它会收到所有其他消息。
  3. 我的应用程序接收所有其他消息,这是来自命令行订阅者的专有消息集。我已确保我的应用程序以特定的组名订阅。

是否有上述用例的工作示例?

0 投票
1 回答
2774 浏览

spring-xd - Spring Cloud 数据流中的 Kafka 源码

我正在从 Spring XD 迁移到 Spring Cloud Data Flow。当我在寻找模块列表时,我意识到 Spring Cloud Flow 中没有列出一些源 - 其中之一是 KAFKA 源。

我的问题是为什么从春季云数据流中的标准源列表中删除了 KAFKA 源?

0 投票
1 回答
296 浏览

spring-cloud-dataflow - Spring 云数据流 - 使用 Cloud Foundry 部署作为输入的文件


我在 Spring XD 中的应用程序很少,现在我想使用部署在 Cloud Foundry 上的 Spring 云数据流。
我的输入源是文件。在 Spring XD 中,我曾经将文件放在本地文件系统中,XD 流用于从该位置读取。但是使用 CF 部署,如何指定远程文件系统的位置?这个文件模块会直接在 CF 中工作吗?

0 投票
1 回答
121 浏览

spring-cloud-dataflow - Spring Cloud 数据流分布式处理


Spring Cloud Data Flow 如何处理分布式处理?如果服务器部署在 PCF 上并假设有 2 个实例,那么输入数据将如何在这 2 个实例之间分配?

此外,在 PCF 上部署时如何处理故障?PCF 将为失败的实例生成一个新实例。但它是否也会负责部署流或需要手动干预?

0 投票
1 回答
291 浏览

spring-cloud - 如何使用 SCDF 运行我的 Spring 云流

使用 Spring Cloud 数据流运行我的 Spring Cloud Stream 应用程序的最简单方法是什么?我的想法是使用 kafka binder 和sink作为预构建的 starter文件创建自定义。我正在创建非常基本的应用程序,类似于。我尝试使用数据流外壳创建可执行 jar 并将其注册为源,但这根本不起作用。我已经在关注这个文件了

0 投票
1 回答
3706 浏览

spring-integration - Spring Cloud Data Flow中如何配置Kafka绑定死信队列

在 Spring Cloud Dataflow 文档中,提到了“死信队列”,可用于消息处理中的异常。但是我没有在任何地方找到更多关于这个的信息。我正在尝试在我的处理管道中配置一个 Kafka 绑定的死信队列。

任何人都可以帮助我或指向文档以了解更多信息吗?