apache-kafka - 使用 Apache Atlas 与 Kafka 相关的查询

Question

我正在研究一个用例，我必须将外部 Kafka 主题元数据导入 apache 地图集。我有几个问题需要澄清，如下所示：

1. 是否可以从不是用于 atlas 通知目的的外部 Kafka 导入主题元数据？如果可能，怎么做？
2. 如何使 Kafka 元数据自动更新，类似于 Hive 或 Hbase，而不是每次都手动运行导入脚本？
3. 导入的主题没有沿袭数据。在什么情况下会为主题捕获沿袭数据？
4. 既然只有一个Kafka相关实体“kafka_topic”，那会不会根本就没有关系数据呢？
5. 在什么情况下会针对主题进行审核？

Answer 1

我也在研究关于外部 Kafka 主题和 Atlas 的类似内容，并且有几乎相同的问题。

对于您的第三个问题，我认为没有 Kafka 主题沿袭图的部分原因是因为 Kafka 只是一个消息传递总线。Kafka 消息是不可变的，因此没有像 HBase 或 Hive 这样的 DML，即使在 HBase 中，表是由同一行键上的“版本”更新的。

在每个 Kafka 主题中，都有一个保留期限设置，默认为 7 天，在此期限内，无论主题的过期消息是否被消费，过期消息都会从日志中删除。基于此，监控“已删除”消息几乎没有价值。

毕竟，Kafka 的主要作用是将消息从源传递到目的地的消息传递工具。它可以暂时缓存消息，但它与数据库不同。我不太赞成使用运输公司来完成仓库的工作。