spring - 无法使用 Spring 云数据流将流数据写入接收文件

Question

我正在尝试使用 shell（非 UI）使用 Spring Cloud 数据流创建数据流管道。Source 是 twitterstream，sink 是 File。这是我为配置文件接收器所做的：

dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt"

我可以使用来自 kafka 主题的数据，但无法在上面的接收器位置写入，甚至没有创建文件。部署流时没有错误日志。最终我会将其从本地文件系统更改为 HDFS。有什么遗漏吗？

PS：我尝试了默认文件接收器（没有定义），它应该在 /tmp/xd/output 中创建默认文件，也没有发生。

Answer 1

在最新的1.0.0.RELEASE (GA) 版本中，以下流定义有效。

dataflow:>stream create demo --definition "twitterstream | file --directory=/someFolder --mode=APPEND --name=demo.txt"

有几点需要指出：

1)twitterstream源不支持--credentials作为 OOTB 属性。见这里。

2）filesink不支持--filename作为OOTB属性；你必须--name改用。见这里。