0

atlas 文档中没有提供有关如何扩展它的信息。

Apache atlas 连接到后端的 cassandra 或 hbase 可以横向扩展,但我不知道 apache atlas 引擎(其余 Web 服务和请求处理器)如何横向扩展。

我可以在不同的机器上安装它的多个实例,并在它前面有负载均衡器来扇出请求。但是这个模型会有帮助吗?它是否进行任何类型的锁定并进行数据库事务,以使该模型不起作用。

有人知道 apache atlas 是如何扩展的吗?

谢谢。

4

2 回答 2

0

请参阅此页面。http://atlas.apache.org/#/HighAvailability

Atlas 不支持实际的水平横向扩展。所有请求都由“活动实例”处理。“被动实例”只是将所有请求转发给“主动实例”。

于 2019-10-28T03:35:21.280 回答
0

因此,Apache Atlas 在后台运行 Kafka 作为消息队列,根据我的经验,他们设计 Kafka 队列的方式(消费者群体说你应该只有一个消费者)是瓶颈。

不仅如此,当您查看代码时,消费者对代理的轮询时间为 1 秒,硬编码到消费者中。将这两者放在一起,这意味着如果消费者在那一秒内无法处理来自各个生产者(HIVE、Spark 等)的消息,那么代理会断开唯一的消费者,并等待不存在的消费者捡消息...

我需要设计类似的东西,但据我所知……

希望能有所帮助...

于 2019-04-10T15:07:03.377 回答