问题标签 [apache-zookeeper]

我想在谷歌云或 EC2 中创建我的应用程序的多个实例。我对此有两个疑问

1.如何做到这一点？

1. 我们可以使用 zookeeper 创建虚拟实例吗？

我只是尝试使用 java 客户端连接到作为 cloudera-vm 一部分的 hbase。

（192.168.56.102是vm的inet ip）

我使用具有仅主机网络设置的虚拟机。

这样我就可以访问hbase master的webUI了@http: //192.168.56.102 :60010/master.jsp

我的 java 客户端（在 vm 本身上运行良好）也建立了与 192.168.56.102:2181 的连接

但是当它调用getMaster我得到连接被拒绝查看日志：

hbase-site.xml：

持久性.xml：

测试DAO.java：

只是添加了在 VM 上运行的网络服务（netstat -ntpl）：

我正在尝试就我的特定应用程序中的服务“名册”建议获得一些反馈。我有一个与客户端保持持久套接字连接的服务器应用程序。我想进一步开发服务器以支持分布式实例。服务器“A”需要能够将数据广播到其他在线服务器实例。所有其他活动实例也是如此。

我正在尝试研究的选项：

1. Redis / Zookeeper / Doozer - 每个服务器实例都会将自己注册到配置服务器，并且所有连接的服务器都会在配置更改时接收到配置更新。然后怎样呢？
   1. 维护与每个服务器实例的端到端连接并使用每个传出数据迭代列表？
   2. 一些自定义的 UDP 多播，但我需要在它之上增加我自己的可靠性。
2. 自定义消息代理 - 在每个服务器连接并通知它时运行和维护注册表的服务。与每个服务器保持连接以接受数据并将其重新广播到其他服务器。
3. 一些可靠的 UDP 多播传输，其中每个服务器实例只是直接广播并且不维护名册。

以下是我的担忧：

• 我很想避免依赖外部应用程序，例如 zookeeper 或 doozer，但如果它是最好的解决方案，我显然会使用它们
• 使用自定义消息代理，我不希望它成为吞吐量的瓶颈。这意味着我可能还必须能够运行多个消息代理并在扩展时使用负载均衡器？
• 如果我设法自己滚动，多播不需要任何外部进程，但否则我可能需要使用 ZMQ，这再次使我处于依赖的情况。

我意识到我也在谈论消息传递，但它与我采用的解决方案密切相关。顺便说一句，我的服务器是用 Go 编写的。关于保持可扩展性的最佳推荐方法的任何想法？

* 目标编辑 *

我真正要问的是，在给定以下条件的情况下，在分布式服务器实例之间实现广播数据的最佳方法是什么：

1. 每个服务器实例与其远程客户端保持持久的 TCP 套接字连接，并在它们之间传递消息。
2. 消息需要能够广播到其他正在运行的实例，以便它们可以传递到相关的客户端连接。
3. 低延迟很重要，因为消息传递可以是高速的。
4. 顺序和可靠性很重要。

*更新的问题摘要*

如果您有多个服务器/多个端点需要在彼此之间发布/订阅，那么它们之间的推荐通信模式是什么？一个或多个消息代理将消息重新发布到一组已发现的服务器？直接来自每台服务器的可靠多播？如何在分布式系统中连接多个端点，同时保持低延迟、高速度和可靠交付？

我正在使用 Java JDK 1.6、Windows XP SP3 开发 Eclipse STS 2.7.2。我在需要身份验证的代理后面工作。

我编写了两个简单的客户端和服务器插件，它们使用 DS 和 Zookeeper 发现。它们指的是捆绑在第三个插件中的 IHello 接口。

服务器发布一个简单的 Hello 服务，当在 192.16.23.28:6666/hello 上调用时返回一个字符串“hello”并使用 VM 参数启动 Zookeper

xml 是：

客户端使用 VM 参数启动 Zookeeper

在这两种情况下，OSGi 框架都是从-console -consoleLog -clean参数开始的。

然后，我为服务器和客户端创建了两个单独的运行配置（运行方式->运行配置..），添加了所有必需的包（最重要的包：org.eclipse.ecf.provider.remoteservice和org.eclipse.ecf.provider.zookeeper）及其依赖项。

基于该配置，我为客户端和服务器定义了两个独立的产品配置（新建->产品定义->选择运行配置）。

现在，如果我通过单击相应产品配置中的“启动 Eclipse 应用程序”链接来运行它们，一切正常。服务器发布服务，客户端获取它并在输出中显示“Hello”。netstat -a | grep 6666显示有人正在监听该端口，并netstat -a | grep 30显示正在使用端口 3030 和 3031。

Eclipse 已配置为正确使用我的代理。

如果我根据上述配置将它们导出为 Eclipse 产品（export->eclipse product->select product configuration），我会得到两个文件夹：client 和 server。

在它们内部，有在外部 OSGi 框架内运行应用程序所需的一切，包括框架 ( config.ini) 和 VM ( eclipse.ini) 的配置文件。

应用程序启动时STS.exe -console会打开一个 OSGi 控制台，其中安装并启动了所有必需的包。

启动服务器工作，我看到有人在 6666 上监听，zookeeper 报告该服务已发布。

如果我启动客户端，什么都不会发生。没有输出，3030 和 3031 上没有连接，没有错误。它根本什么都不做，但是动物园管理员说它已经开始发现了。

使用 localhost 而不是我的 IP 没有任何改变，它仍然可以在 Eclipse 内部工作，但不能在外部工作。

是否有一些库或项目可以像 Zookeeper 一样工作但没有 Java 依赖项？我正在考虑将它放在嵌入式 linux 系统上，并且需要最小的占用空间……大约是兆字节或更少。我有 Lua、C 和 C++ 运行时，如果必须的话，我可以在那里放一些像 NewLISP 这样的东西。大多数或所有客户端将是 C 或 C++，一个很好的命令行实用程序对 shell 脚本的好处也很有用。 http://zookeeper.apache.org/

我在配置 Zookeeper 以使用集中和复制的 zoodiscovery 模式时遇到问题。http://wiki.eclipse.org/Zookeeper_Based_ECF_Discovery上的指南对此有点神秘。

我正在使用 Windows XP SP3、Java JDK 1.6、Eclipse STS 2.7.2、org.eclipse.osgi 3.7 和代理网络。

注意：使用独立配置模式没有问题。我在服务器上使用-Dzoodiscovery.flavor.standalone=192.168.23.21:3030;clientPort=3031和-Dzoodiscovery.flavor.standalone=192.168.23.28:3031;clientPort=3030并且效果很好。

我将把问题分成多个部分：

1) 在 192.168.23.28 上具有（一个）中央服务器的设置中，多个客户端。客户端将发布和使用服务。

我将服务器启动为：

我可以看到ZooDiscovery> Discovery Service 已激活。

当我启动客户端（在示例中只有一个）时：

我可以看到ZooDiscovery> 发现服务已激活。但随后INFO - 尝试连接到服务器：/192.168.23.28一直没有成功。

我必须通过从命令行配置 Zookeeper 来启动服务器和客户端，我无法在包中插入这些参数。我尝试在服务器上设置-Dzoodiscovery.clientPort=8888（8888 可用），然后在客户端上设置-Dzoodiscovery.flavor=zoodiscovery.flavor.centralized=192.168.23.28:8888，但它仍然没有任何改变。

如何配置这样的设置？

2）另外我想知道是否有可能使用集中式让多个中央服务器在它们之间进行通信，或者我是否必须使用复制模式。

3）这导致..如何通过传递VM命令行参数来配置服务器和客户端以使用复制模式？

4）在复制模式下，如果我稍后添加一个新的 Zookeeper 实例，我是否必须停止并重新配置现有的 Zookeeper 实例以使用新的实例，或者配置新的实例以使用现有的实例就足够了？

非常感谢，

干杯

我正在尝试评估 Apache Zookeeper（看起来很酷）。客户端有win32本机实现吗？

让我澄清一下本机，我的意思不是依赖于 Cygwin 或某些 linux 技术的移植。我的意思是我可以使用 Visual Studio (2005) 构建的 100% win32 实现。

干杯丰富

We have a computationally intensive service which is used to do a number of transformations. Its largely computationally bound (CPU bound) process. Essentially what happens is we have a message broker which sends messages to the processing service via Thrift.

Now we have multiple different processing services which run different algos to do processing on the messages - these messages are routed to one or more processing algos. Our message volumes are variable and so are the needs of the processing algos (i.e. we can get many messages that contain XYZ then send to algo 1 otherwise send to algo 2).

We would like to expand this into something that is horizontally scalable. So we have multiple nodes which are running the processing algos. Now depending on the messaging loads our Thrift requests should be sent to different servers (assume that all services are running an instance of each processing Algo1 to 3). Say for example we are getting a large number of messages which we want to process on Algo 1 then we have two servers running algo 1 and the 3rd server looks after requests for the other two algos (Algo 2 & 3).

So the system looks like this:

All processes are written in Java.

So how easy would something like this be to setup using Zookeeper. I know that as we add or change algos we can easily use Zookeeper to handle the config side of things (i.e. servers listen for algo updates or additions and serve them as configured) but how do we manage the load-balancing aspect?

Cheers!

我想查看 zookeeper 运行中的连接数，因为 m 通过 lily 运行，所以它给出异常但想检查 zookeeper 中的连接数。

http://zookeeper.apache.org/doc/r3.1.2/zookeeperStarted.html

我安装了zookeeper如下：

这是我的zoo.cf：

并开始于

我什么时候做？

它给了我这个错误：