问题标签 [citus]

我想将托管在 Citus 云服务中的 PostgresDB 迁移到 AWS RDS Aurora Postgres。我正在使用 AWS DMS 服务。已创建任务但出现以下错误：

最后失败消息 Last Error Stream Component 致命错误。从子任务 0、线程 0 [reptask/replicationtask.c:2860] [1020101] 执行源循环时出错；流组件在子任务 0 处失败，组件 st_0_QOIS7XIGJDKNPY6RXMGYRLJQHY2P7IQBWIBA5NQ；流组件 'st_0_QOIS7XIGJDKNPY6RXMGYRLJQHY2P7IQBWIBA5NQ' 终止 [reptask/replicationtask.c:2868] [1020101] 停止原因 FATAL_ERROR 错误级别 FATAL

坦率地说，无法理解这里出了什么问题，因此不胜感激。

云观察日志：

我们dbt用于管理我们的数据模型MSSQL，并且我们正在考虑迁移到PostgreSQL Citus.

我不清楚如何Citus通过dbt? 我正在特别考虑数据压缩和列式存储。

有任何想法吗？

我的公司正在开发一种 SaaS 服务来存储事件并通过仪表板提供分析。

由于我们不会删除或更新，我们的想法是创建一个基于列的 OLAP 架构，以从它提供的压缩和延迟中受益，而 PostgreSQL Citus 是我们打算评估的一个平台。

整体架构非常标准：API 将接收事件，然后以 JSON 格式将它们存储在 Kafka 中。然后，这些事件将被发送到 PostgreSQL。一些字段将是“jsonb”数据类型。

通过阅读文档，最佳实践是按租户 ID 分发表。

只是想仔细检查一些事情，并非常感谢某人的意见：

1. 上面描述的架构有意义吗？有什么我们应该改变或注意的吗？
2. 对于这种列式方法，可以横向扩展的节点或分片数量是否存在限制？
3. 是否支持 GIN 索引？（我相信是，因为它没有在“限制”中列出）

谢谢！

We are trying to do distributed DB using PostgreSQL. We came across Citus (https://github.com/citusdata/citus) but we are using GORM as ORM for our backend. Is it possible to combine both??

版本：postgresql 14 和 citus 10.2

当我执行

select rebalance_table_shards('tbl_name');

在 CN 节点中，postgresql 给出错误消息：错误：连接到远程节点 localhost:5432 失败并出现以下错误：fe_sendauth：未提供密码

需要添加哪些配置？

1. 所有节点的防火墙都被禁用。
2. 所有节点的 pg_hba.conf 中的 local 和 ipv4 行都已设置为 trust。

谢谢！

Citus上主键的最佳方法是什么？

UUID： 不需要锁，与身份/序列相反。但是存储成本高，最终查询 + 会导致碎片。

序列 - 身份 在创建实体时导致瓶颈。存储和查询成本更低，速度更快+没有碎片。

如果我们想成为可扩展的项目，使用 UUID 会更好吗？

根据这篇文章： https ://www.cybertec-postgresql.com/en/uuid-serial-or-identity-columns-for-postgresql-auto-generated-primary-keys/

对于分片，建议最终使用 UUID。

它在Citus上的表现如何？

我将给出一个模式示例：

在上面的例子中，我们要根据 UserId 来分发用户数据，例如他的 Devices。主键 ID 类型应该是什么？如果 UUID 是答案，我们应该害怕节点中的碎片吗？

我是 citus 的新手，需要建议在 create_distributed_table 时将哪一列视为分布列。

exp 1，订单的快照表，每一行包含一个唯一的订单信息，3个字段，order_id，create_date，update_date，哪个更好。

exp 2，如果有一个用户访问日志表，例如clicks、sequence_id或click_date，是哪一个？

谢谢！

我们正在使用 PostgreSQL 启动一个项目，并且在不久的将来需要将 Citus 用于多租户应用程序，因此我们的目标是适当地准备我们的 PostgreSQL 数据库模式，以便轻松升级到 Citus。我正在阅读以下页面https://docs.microsoft.com/en-us/azure/postgresql/hyperscale/concepts-choose-distribution-column#best-practices并指出以下内容：

"通过一个常见的tenant_id 列对分布式表进行分区。例如，在租户为公司的 SaaS 应用程序中，tenant_id 很可能是 company_id。 "

问题是上述语句中的“分区”一词是指 PostgreSQL 表分区（https://www.postgresql.org/docs/14/ddl-partitioning.html）还是指 Citus 按键分片? tenant_id当在 Citus 中使用与 PostgreSQL 中用于分区表的分片键相同的分片键 ( ) 对表进行分片时， PostgreSQL 表分区是否有意义或提供任何好处tenant_id？

尝试在 Citus 上以编程方式更新一些日期，我总是得到

[0A000] ERROR: STABLE functions used in UPDATE queries cannot be called with column references

从像这样的查询

从理论上讲，所有方法都是immutable，但由于某些原因，它说它的某些部分不是。

我还尝试了以下所有方法： PostgreSQL：如何从 Unix 纪元转换为日期？