问题标签 [clickhouse]

我正在将 Spring JPA 与休眠 ORM 项目一起使用，并希望与 ClickHouse 集成。我找到了一些 ClickHouse JDBC 的参考资料，它们正在工作

ClickHouseJDBCDemo ClickHouseJDBCDemo

但很想知道是否有更好的方法来与 Spring JPA 中的数据库进行交互，就像任何 ORM 工具（如 Hibernate）一样。

我在 Clickhouse 1.1.54343 中面临数据加载和表合并问题，并且无法在 Clickhouse 中插入任何数据。

我们有 3 个节点集群，我们在数据摄取和从 JSON 文件中摄取数据的表中添加了 300 列。

我们能够将数据保存在表格中

创建表

--- 所有节点

配置文件

错误日志

请帮助我识别和解决问题。

我对 CickHouse 中常见类型的禁用 NULL 有点困惑。NULL 值限制背后的想法是什么？

在 Google BigQuery 中，我的工作流程是在同一个表中存储尽可能多的指标，尽管我每行只能存储一个字段。

但在 ClickHouse 案例中，所有值都将设置为默认值。

1. 这在存储效率方面可以吗？
2. 通过这些表进行聚合的常用方法是什么？我的意思是只聚合真实值（没有那些被设置为默认值的值）
3. 也许我应该使用不同的表方案结构？

ps 数据是加密货币指标，例如（价格、交易量、社区规模、链上数据）。

pss 我的常见查询是按时间段聚合，即

一些关于字段（+、-、/、*）、移动平均线、标准偏差的数学运算。（但这部分可以在接下来的步骤中使用 pandas 完成）。

time_bucket是 timescale 在时间段内聚合的原语。

我有这个动物园管理员配置：

我的/opt/zookeeper-3.4.11/data目录变大了，没有autopurge发生。

我试着清理这个烂摊子，zkCleanup.sh但它什么也没做。

我的 zkCleanup.sh https://pastebin.com/Q9XSpSfz

UPD：来自新动物园清理脚本的日志：

sysadmin@clickhouse-node1:/opt/zookeeper-3.4.11/bin$ ./zoo_clean.sh -n 10 /opt/zookeeper-3.4.11/data /opt/zookeeper-3.4.11/logs /usr/lib/jvm/java-8-oracle/bin/java -Dzookeeper.log.dir=. -Dzookeeper.root.logger=INFO,CONSOLE -cp /opt/zookeeper-3.4.11/bin/../build/classes:/opt/zookeeper-3.4.11/bin/../build/lib/*.jar:/opt/zookeeper-3.4.11/bin/../lib/slf4j-log4j12-1.6.1.jar:/opt/zookeeper-3.4.11/bin/../lib/slf4j-api-1.6.1.jar:/opt/zookeeper-3.4.11/bin/../lib/netty-3.10.5.Final.jar:/opt/zookeeper-3.4.11/bin/../lib/log4j-1.2.16.jar:/opt/zookeeper-3.4.11/bin/../lib/jline-0.9.94.jar:/opt/zookeeper-3.4.11/bin/../lib/audience-annotations-0.5.0.jar:/opt/zookeeper-3.4.11/bin/../zookeeper-3.4.11.jar:/opt/zookeeper-3.4.11/bin/../src/java/lib/*.jar:/opt/zookeeper-3.4.11/bin/../conf: org.apache.zookeeper.server.PurgeTxnLog /opt/zookeeper-3.4.11/logs /opt/zookeeper-3.4.11/data -n 10 什么都没有再发生

知道如何解决这个问题吗？

我打算通过使用这种方法将我的 kafka 主题摄取到 SummingMergeTree 来对 Clickhouse 进行一些测试：https ://clickhouse.yandex/docs/en/table_engines/kafka/

对于我在开发环境上的测试，我不怕量，但在生产环境中，我们已经在消费这些主题，我们必须让许多消费者能够在推送消息时尽快阅读消息。我的问题是：Clickhouse 有没有办法让许多 kafka 消费者在一张带有 kafka 引擎的桌子上？

谢谢，

罗马式

我有一个这样的点击屋表：

此表包含不同页面上不同广告块的点击历史记录。只是一个大日志。我想获得每个页面点击次数最多的广告。类似的东西

希望有人能帮助我。谢谢。

按照文档中的示例： https ://clickhouse.yandex/docs/en/table_engines/kafka/

我使用 Kafka Engine 和一个将数据推送到MergeTree表的物化视图创建了一个表。

这是我的表的结构：

在 Kafka 主题中，我每秒收到大约 150 条消息。

一切都很好，数据在表中更新的部分延迟很大，绝对不是实时的。

似乎只有当我达到65536 条准备在 Kafka 中消费的新消息时，数据才会从 Kafka 发送到表

我应该设置一些特定的配置吗？

我试图从 cli 更改配置：

但是没有任何改善

我应该更改任何特定配置吗？
我应该在创建表之前更改上述配置吗？

我有一个使用 Kafka 引擎的 Clickhouse 表。

但是，我想修改表的kafka broker 列表。

这可能吗？似乎没有文档。

我正在尝试编写一个查询来获取 Clickhouse 中结果集的每一行的聚合指标。这个想法是，对于与分组 ID 匹配的每一行，我想为当前行之后的 60 秒选择一个时间窗口并获得某个值列的总和，但到目前为止，我一直无法弄清楚要实现的查询这个。以下是我尝试使用连接但出现错误的示例。我认为这归结为无法从外部查询访问子查询列：

我想知道这种查询是否可以实现？它本质上是一个滑动 60 秒的窗口来获取总和值，但我希望它覆盖每个可能的 60 秒窗口，这就是为什么我要为每一行计算它的原因。也许 Clickhouse 中有一个函数可以实现这样的功能，或者在我们获得结果集后我必须在代码中执行此操作吗？

我在 clickhouse 中有一张桌子，说“my_table”，它有复制品（my_table_rep1，...）。我需要添加一列，类型为 float64，默认值为 (-1)。

我该怎么做？

我希望默认值不会实际添加到现有条目中。