0

我试图将一些实时指标从 kafka 放到 clickhouse，我的查询如下所示

CREATE TABLE queue2 (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'outtopic1', 'group2', 'JSONEachRow');

当它从 kafka 获取大约 150 行的指标时，它突然停止并显示

156 rows in set. Elapsed: 11.245 sec.

但是kafka中的数据仍然存在，需要推送到clickhouse ...可能是什么问题？有人可以帮我吗

4

1 回答 1

0

您是否按照文档中的建议对 Kafka 表使用 MATERIALIZED VIEW ？

如果您使用 MATERIALIZED VIEW，那么来自 Kafka 的所有消息都将插入到视图中。所以在这种情况下，您应该从视图中选择，而不是从 Kafka 表中选择。

如果您不使用 MATERIALIZED VIEW，那么您只能从 kafka 表中查询一次新消息。当您再次查询时，查询将不会再次返回相同的消息，因为它已经从 Kafka 消费过一次。

此外，您可以检查 ClickHouse 日志 (/var/log/clickhouse-server/clickhouse-server.log) 是否有一些错误。

还要确保您没有任何其他具有相同组主题的 Kafka 消费者（或 ClickHouse kafka 表），因为在 Kafka 消费者组中只获取一次消息。

于 2018-01-06T20:25:12.477 回答