0

I am working on Spring XD and GemFire XD. I want to understand how Spring XD's distributed environment works. I know spring xd uses either redis or rabittmq as the transport.

I am clear about this, I have install spring xd and rabittmq on one machine. I changed the redis.properties file and added hostnames.

Do I need to install spring xd on all the machines? If so, after installing, how to bring those up.

On the master machine, I will do ./xd-admin and ./xd-container

How do you start up the nodes (spring xd instances/workers) so that they can listen for instructions from xd-admin?

Please help me on this.

Thanks, -Suyodhan

4

3 回答 3

1

Redis 作为唯一受支持的平台用于分析。对于传输，您需要 Redis 或 Rabbit。

基本上，您只需要根据各自的文档安装 Redis 和 RabbitMQ。它们可以在相同或不同的服务器中，理想情况下您会使用它们的高可用性选项。例如 Redis Sentinal。除非您想将默认传输从 Redis 更改为 Rabbit，否则您不需要 RabbitMQ。安装 Redis 和 Rabbit 后，启动它们并将它们的主机：端口信息（以及任何其他适用的信息）提供给 XD 安装（在所有节点中）中的 servers.yml，并启动管理和容器。Evrything 应该通过使用 zookeeper 作为管理分布式运行时的手段来自动工作。

于 2014-07-05T19:57:11.790 回答
0

如果你在分布式模式下使用 Spring XD，我假设你也设置了 zookeeper。（如果不检查这个http://docs.spring.io/spring-xd/docs/1.0.0.M7/reference/html/#_setting_up_zookeeper）

Admin 和 Container 实例在出现时向 Zookeeper 注册。管理员向 zookeeper 查询可用容器并分配任务，例如部署模块。Zookeeper 是分布式模式背后的诀窍。

希望这可以帮助。

于 2014-07-04T04:36:02.337 回答
0

您将在一台机器上安装一次 Spring xd，Spring XD 将连接到您的 hdfs 分布式横向扩展环境。您需要启动以下内容： 1. redis 或 rappitMQ 在您的情况下 2. hsqldb 服务器 3. 容器 4. admin

启动spring xd时，需要先注册name节点，命令：hadoop config fs --name hdfs://serverip:8020

那么您可以通过直接指定其参数来使用 spring xd 中定义的任何模块（使用流或批处理），而无需在 server.yml 文件中指定这些参数。

莫哈。

于 2015-08-18T07:34:21.740 回答