问题标签 [apache-zookeeper]

假设我们有几个相同的节点，它们是某个 n 层服务的应用服务器。假设我们使用 Apache ZooKeeper 来保存我们分布式应用程序的所有配置。另外，我们在这个应用程序前面有一个 nginx 作为负载均衡器和反向代理。

因此，假设我们执行了一个仅在 node1 上更改数据的命令，并且在一段时间内 node2 与 node1 不同。我们希望代理将所有特殊请求（需要特定数据）重定向到 node1，直到所有信息都迁移到 node2 并且 node2 具有与 node1 相同的数据。

有没有办法让 nginx（或其他代理）从 Apache ZooKeeper 读取其配置？或更广泛地说：有什么方法可以有效地即时切换代理配置？当然，它应该在整个系统没有（或最少）停机时间的情况下完成 - 因此重新启动 nginx 不是选项。

我一直在尝试集成SolrCloud 中建议的 Solr主干ZooKeeper。

当我尝试Example Cie时Two shard cluster with shard replicas and ZooKeeper ensemble，我无法在 Ubuntu 或 Windows 上运行此示例。启动第一台服务器时出现套接字连接错误，因此无法继续。

我想了解更多有关 Solr 如何与 ZooKeeper 集成的信息（ZooKeeper 使用的是什么构造）。

我已经阅读了很多 ZooKeeper 资料，但在 Sharding & Distributed Search 中关于 Solr 的信息很少。

我与 supervisord 面临的一个问题是，当我有一个命令反过来产生另一个进程时，supervisord 无法杀死它。

例如，我有一个 java 进程，当它正常运行时就像

supervisord 配置文件如下所示：

在阻止它们从supervisorctl. 因此，当我从 supervisord 运行它并尝试从 supervisorctl 停止它时，只有顶级进程被杀死，而不是实际的 java 进程。

我们有一个使用 Cloudera Manager 配置的 CDH3u2 的 8 节点集群。我们有一个专用的主节点运行我们唯一的 zookeeper 实例。当我将 hive 配置为运行从主节点执行的本地 hadoop 时，从 HBase 检索数据没有问题。当我通过 hive 运行分布式 map/reduce 时，当从节点连接到 zookeeper 时出现以下错误。

HBase 能够连接到 ZooKeeper，但连接会立即关闭。这可能表明服务器有太多连接（默认值为 30）。

我们尝试将最大连接数设置得更高（我们甚至尝试取消限制）。这是一个用户很少的开发集群，我知道问题不在于连接太多（我可以使用./zkCli从从节点连接到zookeeper）。

服务器端日志表明会话已被客户端终止。

客户端hadoop日志说：'引起：org.apache.zookeeper.KeeperException$ConnectionLossException：KeeperErrorCode = ConnectionLoss for /hbase

知道为什么我无法通过 Hive Map/Reduce 维护与 zookeeper 的连接吗？

hbase 和 zookeeper 的配置是：

HBase 站点 XML 是：

你们会建议什么是在zookeeper中实现队列的好方法，该队列能够延迟工作而不阻塞工作人员？

参考 beanstalkd 延迟作业选项。

我在我的应用程序中使用 Hbase-Hadoop 组合以及作为 ORM 的 Data Nucleus。

当我试图一次通过多个线程访问 hbase 时。它抛出异常为：

如果需要，我可以提供完整的堆栈跟踪。（因为完整的堆栈跟踪会使这里的事情变得一团糟）。

请帮助我提供一些有关如何处理这种情况的线索。我需要做任何配置来增加连接池吗？

如果我要将 Zookeeper 用作工作队列并将其连接到单个消费者/工作人员。您会推荐什么作为记录这些工人活动的良好分布式设置？

假设如下：

1）在任何时候，我们都可以减少到 1 台容纳 hadoop 集群的计算机。该系统将根据需要自动扩展和缩减，但在只需要一台计算机的情况下有很多停机时间。

2）我只需要能够访问所有工作人员日志而不访问工作人员所在的单个机器。请记住，当我阅读这些日志之一时，这台机器很可能会被终止并且早已不复存在。

3）我们需要轻松访问日志，即能够 cat/grep 和 tail 或者以更 SQLish 的方式 - 我们需要实时查询以及在短时间内实时监控输出时间。（即tail -f /var/log/mylog.1）

我在这里感谢您的专家想法！

谢谢。

调用 org.apache.zookeeper.server.quorum.QuorumPeerMain.main() 不起作用。

我正在寻找通过集成 Zookeeper 并允许 Hadoop 使用 Zookeeper 的命名空间来解决单点故障的问题？可能吗？我们如何解决这个问题？

HBase的最小服务器组成是多少？

全分布式，使用分片，但不使用 Hadoop。用于生产环境。

我期待着这样解释。

• 服务器 1：动物园管理员

• 服务器 2：区域服务器

  ... 和更多

谢谢你。