问题标签 [spring-cloud-dataflow]

我正在尝试使用 Spring Integration Java DSL 来接收电子邮件（gmail）。我也在使用 Redis。当我收到邮件时，我得到 ConcurrentModificationException 。在搜索时，我还发现人们在 Kafka 中也遇到了同样的错误。下面是我的代码和异常。

感谢您的帮助。

例外 ：

我现在正在阅读 Spring Cloud DataFlow 文档，但事实证明 PART IV (Modules) 中包含的部分存在某种错误，因为整个部分都充满了这种文本

raw.githubusercontent.com/spring-cloud/spring-cloud-stream-modules/master/spring-cloud-stream-modules-docs/src/main/asciidoc/sinks.adoc 中未解决的指令 - 包括::{repo-root }/cassandra-sink/README.adoc[tags=ref-doc]

有什么方法可以访问此文档？

Spring XD 文档模块部分是否可以替代我的问题？Spring Cloud DataFlow 模块的工作方式与 Spring XD 相同，因此我可以使用 Spring XD 文档代替吗？

谢谢你的时间

我有一个用例，我需要每天将数据从基于 SQL 的仓库移动到 mongo。我们选择 SpringXD 作为这个 ETL 工作的工具。但是，我需要将一些通配符参数传递给我的查询，这些参数每天都在变化。我想知道是否有人知道或可以为我提供一个示例 DSL，用于在使用 Spring XD 时将通配符参数传递给 SQL 选择查询。

我们正在探索各种编程/库选项（在世界的 Java 端），以实现更快的批处理以及能够部署在云上。我们遇到了 Spring 批处理/XD/云数据流。通过快速查看http://cloud.spring.io/spring-cloud-dataflow/上的文档，我们无法评估 Spring Cloud 数据流是否还具有 Spring Batch 提供的所有批处理功能。例如，以下是 SPring 批处理文档 ( http://projects.spring.io/spring-batch/ ) 所说的：“Spring Batch 提供了可重用的功能，这些功能对于处理大量记录至关重要，包括日志记录/跟踪、事务管理、作业处理统计、作业重启、跳过和资源管理。”

如果有人对 Spring Cloud 数据流中的批处理功能有任何想法，请在此处发布。非常感谢！

I'm trying to integrate Spring Cloud dataflow Yarn SPI with Spark running on Hortonworks sandbox 2.4. Does anyone have any samples on the configuration that we need to do? My Spark program is executing properly when I run it using spark-submit, but giving problems when I ran through Spring Cloud dataflow after registering the Spark app. There may be some prerequisites that I need to set and not sure of what all they are.

Please help.

团队，目前我正在研究 spring-xd 并用作数据分析和纱线作业的运行时容器。

我的问题是

1) 我可以利用与 spring-xd 相同的环境设置吗？
2）从文档中，我读到它可以部署为微服务，是否使用嵌入式驱动程序进行流处理？如果它使用嵌入式驱动程序，我可以使用它在集群环境中部署，并使用与 spring-xd 相同的基础架构吗？
3) 是否有为 Apache Spark 构建的特定包装器？

我的环境：Spark 1.6.1、Hadoop 2.7.2、zookeeper 3.6.8、redis 3.2、spring-xd-1.3.1

对此特定查询的任何帮助将不胜感激。

有关 Spring Cloud Data Flow 文档何时准备好迎接黄金时段的任何更新。如果没有完整的开发人员文档，真的很难计划未来的任何重大部署。由于 Spring Cloud Data Flow 大量使用 Spring XD，在我们完成之前是否会使用 Spring XD 文档，有什么帮助吗？

谢谢

我正在使用spring cloud dataflow的本地服务器。每次我重新启动服务器时，所有部署的应用程序和流定义都会丢失。如何保留我的流定义，以便它们在服务器重新启动后仍然存在？

是否有类似 Marathon 和 Mesos 那样支持 Aurora 和 Mesos 的计划？

谢谢

我在 Cloud Foundry 上试验 Spring Cloud Data Flow（版本 1.0.0.M2）。具体来说，我正在使用 Bluemix 来完成我的任务。

我使用这些参考成功构建了 Cloud Foundry 服务器： https ://github.com/lshannon/spring-cloud-data-flow-demo

http://docs.spring.io/spring-cloud-dataflow-admin-cloudfoundry/docs/1.0.0.M2/reference/html/getting-started.html

我启动了服务器，连接了本地 shell，成功注册了默认处理器、接收器和源。

使用的环境变量($1,$2,$3,$4)是我的个人数据：

我仔细检查了 Bluemix 实例中的那些变量，一切都是正确的。

然后我尝试使用 shell 重新创建基本流示例，即：

外壳输出是：

但是，我看不到任何已部署的 Cloud Foundry 应用程序能够重现这样的流。

似乎数据流服务器未能向 Bluemix 请求访问令牌以创建流。我做错了什么吗？

谢谢你的支持！