apache-kafka - KSQL - 非流式查询

Question

有没有办法查询 KTABLE 中的所有当前条目？我正在尝试使用有效负载执行对 REST api 的 http 请求

{
  "ksql": "SELECT * FROM MY_KTABLE;",
  "streamsProperties": {
      "auto.offset.reset": "earliest"
   }
}

并且流无限期地挂起。文件说

它相当于传统的数据库表，但通过诸如窗口之类的流语义来丰富。

那么当您只需要所有当前数据而不需要流式传输并将 KTABLE 视为常规缓存表时，是否可以进行常规查询？

Answer 1

KSQL Table 使用了 Kafka Streams 的 KTable，因此为了访问 KTable 的当前值，您需要访问所有流作业实例中的状态存储。在 Kafka Streams 中，您可以使用 来执行此操作interactive queries，但是，我们尚不支持 KSQL 中的交互式查询。

在 KSQL 中查看表的当前状态的一种解决方法是使用 Kafka Connect 将对应于表的 kafka 主题推送到外部表中，例如 Postgres 表或 Cassandra 表。此外部表将具有 KSQL 表的最新值。