问题标签 [spring-xd]

我们有一个要求，我们需要处理一个文件夹中的多个文件（每个文件有 50K-100K 记录），并在进行一些计算后将数据存储在数据库中。处理完文件内容后，我们需要触发第二个流进行进一步处理。

我们设计解决方案的方式是

File Reader -- File Splitter -- Processor -- Re-sequencer（每条记录的发布策略） -- Sink（在数据库中加载数据）

上述设计的问题来自 re-sequencer 和 Sink，我们无法确定文件的所有内容是否成功存储在数据库中，否则我们无法调用第二个流。

我们已经使用聚合器进行了一些基准测试，它似乎比重新排序器慢得多。聚合器是否存在任何已知的性能问题？如果我们有一个仅在所有数据都使用 re-sequencer 时才发布的发布策略，是否会出现严重的性能下降

谢谢，贾亚德普

处理器 1 - 拆分行

我们使用 ActiveMQ 作为我们的标准消息传递平台。XD 已经支持 ActiveMQ 作为 JMS 源。作为传输的消息平台通过将有效负载放入以传输命名的 ERROR 队列来帮助处理接收器故障。如果是 Redis，payload 会进入一个 LIST。队列是使用批处理作业处理失败消息的更好方法。想知道将来是否会支持 ActiveMQ 作为传输。

I am working on Spring XD and GemFire XD. I want to understand how Spring XD's distributed environment works. I know spring xd uses either redis or rabittmq as the transport.

I am clear about this, I have install spring xd and rabittmq on one machine. I changed the redis.properties file and added hostnames.

Do I need to install spring xd on all the machines? If so, after installing, how to bring those up.

On the master machine, I will do ./xd-admin and ./xd-container

How do you start up the nodes (spring xd instances/workers) so that they can listen for instructions from xd-admin?

Please help me on this.

Thanks, -Suyodhan

我有一个流如下，source(jms-ibmmq) -> Process -> Process -> sink(jdbc-oracle)

数据摄取工作正常。但是作为我的流的一部分，我的接收器（jdbc-oracle）可能会关闭（或）网络中存在一些问题，从而阻止了对 oracle 数据库的持久性。

我要问的是如何处理此故障以及 spring xd 可以提供哪些开箱即用的选项？是否有一种模式通常用于处理导致处理/接收器模块的流中的这些故障？

我希望在 spring-xd 容器启动时创建一个流，而不必通过 xd-shell 手动输入它。我想要; 1. 启动 xd-singlenode（通过 bash 调用） 2.http --port=8080 | file在容器启动后部署预先创建的流定义（例如）

我知道有一个 url 可以调用 ( curl -POST http://127.0.0.1:9393/streams?name=mystream&definition=http|file)，但是我在指定额外的配置时遇到了麻烦 (比如--port=8080) 并且管道 ( |) 也造成了一些麻烦。

谢谢

例如，我想创建一个组合模块作为“myprocessor”：

另外，我还想让组成模块中的处理器1，处理器2和处理器3的数量为4：2：1，并且它们之间的所有通信都是进程内的。

我怎样才能实现它？我可以在创建过程中使用如下命令指定它：

还是在部署期间？

谢谢，
西蒙

当我尝试在 M7 版本中启动 xd-admin 时，它失败并出现以下错误。在我读到的一些地方，我们需要先启动 x-container，然后再启动 xd-admin。这也是我尝试过的，但结果相同。

请确认和帮助，是动物园管理员的问题还是我错过了一些东西。

23:45:02,631 ERROR main server.AdminServerApplication:113 - 在类路径资源 [META-INF/spring-xd/batch 中定义名称为“org.springframework.xd.dirt.plugins.job.DistributedJobService#0”的 bean 创建错误/batch.xml]：在设置构造函数参数时无法解析对 bean 'jobExecutionDao' 的引用；嵌套异常是 org.springframework.beans.factory.BeanCreationException：在类路径资源 [META-INF/spring-xd/batch/batch.xml] 中定义名称为“jobExecutionDao”的 bean 创建错误：调用 init 方法失败；嵌套异常是 java.lang.IllegalArgumentException：无法检查数据库类型的元数据。你必须明确地提供它。

我正在寻找从 Redis LIST 中读取以读取 Spring XD 失败消息并通过批处理工作流再次处理它们。是否有可用的 Redis ItemReader？我检查了 GitHub 存储库中的批次，但找不到一个。谢谢

我正在尝试在 HTTP 源和 HDFS 接收器之间创建一个流。我的 springXD 和 HDFS 安装在不同的机器上**，但我能够hadoop fs ls /成功触发命令。

创建和部署流后，当我使用以下方式发布数据时：

它抛出错误：

未能将数据发送到 http 端点 http://{ipaddressofhdfsmachine:8020}

当我使用localhost with port 9000它成功完成但没有出现在 hdfs 中。

是否有必要在同一台机器上安装 hdfs 和 spring 来创建流？

我已经让 Sring Xd 在分布式模式下运行，现在开始运行一些 JMeter 测试。

我的问题是关于生成的负载如何以分布式模式分布在容器之间。

如果我为 100 个用户分别生成 1000 条消息，我希望此流量在两个或多个运行的容器之间分配。

这可能吗？还是一个容器承担全部负载？在我目前的设置中，这似乎正在发生。