问题标签 [clickhouse]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
220 浏览

build - 无法在 Windows Server 2012 上使用 cygwin 构建 clickhouse

我正在尝试在 Windows Server 2012(内部版本 9600)上的 cygwin(mintty-2.7.9)中构建最新的 clickhouse 版本(v1.1.54292-stable)。我已经在 cygwin 中选择并安装了这些附加软件包:

我正在按照官方说明进行操作,因此我运行了:

我得到的编译错误是这样的:

如果我grep在那里正确定义/usr/include/sys/types.hssize_t它,但由于某种原因编译器找不到它。

感谢您的任何建议...

0 投票
1 回答
3824 浏览

jdbc - Can't Connect ClickHouse With JDBC Driver Using DBeaver

I want to connect clickhouse with jdbc driver using DBeaver. My driver settings are:

Driver Name: clickhouse

Class Name: ru.yandex.clickhouse.ClickHouseDriver

URL Template: jdbc:clickhouse://{host}:{port}

When I test the connection, it throws me an exception like this:

ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002, host: xxx, port: 8123; error while read response Magic is not correct: 112

Where I'm wrong?

0 投票
3 回答
4895 浏览

database - 连接到远程服务器上的 clickhouse 失败,地址奇怪

我有一个在 Windows 2016 服务器上的 Linux 子系统上运行的 clickhouse 服务器。我已经为90008123端口上的入站和出站连接设置了防火墙规则。我使用了默认配置。当我尝试远程连接时出现此异常:

用户配置应该如何使远程连接通过。

0 投票
1 回答
3501 浏览

clickhouse - 通过 docker 安装 Clickhouse 的主机上的数据目录权限

我对 clickhouse 的设置是通过 docker ( https://hub.docker.com/r/yandex/clickhouse-server/~/dockerfile/ )。目前,我在将数据目录(/var/lib/clickhouse)从容器挂载到主机时遇到了一些问题,因为我想将数据保留在容器运行时之外。

由于 docker 进程负责在主机上创建目录(/var/lib/clickhouse 的这些目录在使用 -v 标志运行 docker 之前不存在),我应该在我的主机实例?

我遇到了类似的东西:Application: Access to file denied: /var/lib/clickhouse/data。我的显式文件挂载是:/var/lib/clickhouse并且/var/lib/clickhouse/tmp按照配置文件中的规定。但由于 clickhouse 服务器进程似乎创建了更多目录,因此 docker 进程在尝试创建更多进程时被“拒绝”。

可以显式挂载 /data 等,但这做出了配置之外的假设。此外,如果我给予慷慨的权限,这确实/var/clickhouse有效:chmod 777 /var/clickhouse但想确保这是最佳实践。

0 投票
1 回答
1708 浏览

iot - 在 Clickhouse 中存储传感器数据的最佳方式是什么?

我们有一组设备,所有设备都有传感器。所有设备都有一些通用的传感器,但有些设备有额外的传感器。每个传感器都有不同的离散化水平,有些传感器有时变化很快,有时一段时间内变化不大。例如,我们有 DeviceA 并有一个形式的数据包流(NULL 表示值不变):

和设备B:

一段时间后,可以将新传感器添加到某些设备中。每个传感器都可以是任何数字类型(Int32、UInt8、Float32)

之后数据将用于计算:dau、mau、retention、GPS坐标聚类等。

我们可以简单地创建一些表:

但是这里有两个问题:不支持不同的传感器集,有时我们会在没有变化的情况下为某些传感器值设置空值,并且在时间戳之前看到最后一个非空值会很棒。

我们可以通过创建一个包含以下字段的表来解决第一个问题:SensorName、Timestamp、Date、Value。但是如何选择正确的类型呢?我们应该为不同的类型使用不同的表吗?可能我们需要使用石墨引擎,不幸的是,我对此没有任何经验。因此,非常感谢任何帮助。如果有可能只保留任何传感器的更改值,那就太好了。

更新

我找到了一种处理空值的方法。我们可以使用“anyLast”函数来请求列的最后接收值:

不幸的是,我们不能使用某种重叠的窗口函数来填充所有缺失的值(clickhouse 不支持它们)。因此,在可为空字段聚合函数的情况下,将仅使用非空值,而在非可为空字段的情况下,将使用包括零值在内的所有值,并且两种方式都不正确。一种解决方法是在插入之前使用 select 填充 null 值,并为一行中的所有 null 值使用 anyLast 值。

0 投票
1 回答
8095 浏览

sql - Clickhouse - 累计或运行总计和百分比

Clickhouse 让我们深受鼓舞。然而,当我们试图将所有现有脚本移植到 Clickhouse 时,我们遇到了一些障碍。例如: CUMULATIVE SUM or RUNNING TOTAL。我们正在尝试找到等效的窗口函数,例如SUM(SALES) OVER (PARTITION BY PRODUCT ORDER BY SALES)

  • 有没有办法获得累积和或运行总计。非常感谢任何输入或指导。谢谢!


  • 这是我关于 Clickhouse(又是一个很棒的数据库)的第二个问题。我们必须移植计算"Percent to total".

    例如

    我们正在考虑编写一个可以填充的脚本

    有没有一种通过 Clickhouse 中的各种功能的快速方法,我们可以使用它来完成此操作。提前致谢。

  • 0 投票
    1 回答
    187 浏览

    binutils - clickhouse-server install failed on CentOS6 with libbfd package error

    I'm testing clickhouse. Finally I installed ClickHouse on my virtual machine. But I've got some problem to make it.

    --> Finished Dependency Resolution Error: Package: clickhouse-server-1.1.54236-4.el6.x86_64 (clickhouse) Requires: libbfd-2.20.51.0.2-5.44.el6.so()(64bit)

    But, I already have this "binutils-2.20.51.0.2-5.47". (More recent version) [root@node01 ~]# rpm -qa | grep "binutils" binutils-2.20.51.0.2-5.47.el6_9.1.x86_64

    So, I removed binutils-2.20.51.0.2-5.47 and install binutils-2.20.51.0.2-5.44, it works well.

    Is this common issue?

    谢谢。陈。

    0 投票
    2 回答
    11968 浏览

    php - Clickhouse连接拒绝

    我在通过 8123 端口通过 http 连接到 clickhouse-server 时遇到问题。所有参数均为默认值。

    请帮我解决这个问题。

    0 投票
    2 回答
    1320 浏览

    floating-point - 为什么在 ClickHouse 表中不鼓励浮点表示?

    文档并没有真正解释他们的行为Float32以及Float64不鼓励他们的原因。

    我问这个问题是因为我在将这些与控制台 cli 请求或 Rest 请求一起使用时看到了奇怪的行为。无论精度如何,发送到 clickhouse 的浮点值都会在最后一位略微修改。

    示例:1258.021545成为1258.0215453.

    每次我插入这些值时,最后一个数字都会改变。我不认为问题来自于太高的精度值,因为这些值来自 Java 双精度值。

    0 投票
    2 回答
    2865 浏览

    database - 无法使用 Zookeeper 在 ClickHouse 中设置复制

    我花了两天时间尝试在 ClickHouse 中设置复制,但无论我尝试什么配置,我最终都会得到相同的行为。

    我能够ReplicatedMergeTree在第一个节点上创建一个表并向其中插入数据。然后我在第二个节点上创建一个副本。数据被复制,我可以看到它正在查询第二个节点。但是当我将数据插入第二个节点时,奇怪的行为就开始了。数据未复制到第一个节点,并出现以下错误:

    它与GitHub 上的这个问题非常相似。

    当我重新启动第一个节点时,它能够加载插入到第二个节点的新数据并且似乎正在工作。但是,插入更多数据会再次带来相同的错误。

    我尝试的最新设置:

    按照教程,我有一个具有以下配置的三节点 Zookeeper 集群:

    ClickHouse 的 zookeeper 配置如下所示:

    我创建这样的所有表:

    所有副本的唯一区别是相应'03'设置的副本 ID。

    感谢您的任何建议!