atlas 文档中没有提供有关如何扩展它的信息。
Apache atlas 连接到后端的 cassandra 或 hbase 可以横向扩展,但我不知道 apache atlas 引擎(其余 Web 服务和请求处理器)如何横向扩展。
我可以在不同的机器上安装它的多个实例,并在它前面有负载均衡器来扇出请求。但是这个模型会有帮助吗?它是否进行任何类型的锁定并进行数据库事务,以使该模型不起作用。
有人知道 apache atlas 是如何扩展的吗?
谢谢。
atlas 文档中没有提供有关如何扩展它的信息。
Apache atlas 连接到后端的 cassandra 或 hbase 可以横向扩展,但我不知道 apache atlas 引擎(其余 Web 服务和请求处理器)如何横向扩展。
我可以在不同的机器上安装它的多个实例,并在它前面有负载均衡器来扇出请求。但是这个模型会有帮助吗?它是否进行任何类型的锁定并进行数据库事务,以使该模型不起作用。
有人知道 apache atlas 是如何扩展的吗?
谢谢。
请参阅此页面。http://atlas.apache.org/#/HighAvailability
Atlas 不支持实际的水平横向扩展。所有请求都由“活动实例”处理。“被动实例”只是将所有请求转发给“主动实例”。
因此,Apache Atlas 在后台运行 Kafka 作为消息队列,根据我的经验,他们设计 Kafka 队列的方式(消费者群体说你应该只有一个消费者)是瓶颈。
不仅如此,当您查看代码时,消费者对代理的轮询时间为 1 秒,硬编码到消费者中。将这两者放在一起,这意味着如果消费者在那一秒内无法处理来自各个生产者(HIVE、Spark 等)的消息,那么代理会断开唯一的消费者,并等待不存在的消费者捡消息...
我需要设计类似的东西,但据我所知……
希望能有所帮助...