5

我有以下数据库结构，存储在关系数据库中：

  • 两个事实表，每个表约 8000 万行
  • 具有 300,000 - 500,000 行的三个维度表
  • 两个事实表都有 3 个外键，用于连接维度表
  • 一张安全表也有 3 个外键用于连接维度表

一位开发人员正在使用我的数据创建一个使用列式数据库的应用程序。他们一直遇到性能问题，当我建议向他们的表中添加索引/键时，他们说索引列式数据库不会提高性能。结果，他们要求我将事实表与维度表结合起来。

这似乎与我对数据库管理基本原则的了解相矛盾。列式数据库真的不能使用索引来提高性能吗？应采取哪些步骤来优化色谱柱性能？

我正在寻求高级信息，但为了完整起见，关系数据库是Teradata，列数据库是SAP HANA。

4

3 回答 3

4

在高层次上，关系数据库和列式数据库之间的区别在于数据的存储方式。关系数据库按行存储记录，按列按列存储。

例如： 记录：

Name          ID number        zip code
smith         4444             98210
jones         1234             10125

RDBMS 按记录块 存储 ：smith, 4444, 98210 和 jones, 1234, 10125smith, jones4444, 123498210, 10125

您可以创建索引。在 HANA 中有 UNIQUE、BTREE、CPBTREE 索引。唯一值的唯一索引 - 就像 RDBMS 中的主键一样，BTree 是二叉搜索树索引，CPBTREE 是压缩前缀 B+ 树索引。

但是，重要的是在创建希望修复的索引之前评估性能问题。查看日志，分析数据库并找出导致性能缓慢的原因。评论“开发人员正在使用我的数据创建使用列式数据库的应用程序”可能是问题的症结所在。每种数据库类型中存储和检索数据的方式完全不同。RDBMS 更适合事务数据。因此，如果这个应用程序利用了列式数据库，那么它更适合在大量数据中有效地搜索特定数据——因为只需要加载受影响的列，而不是整个记录。

由于数据库结构不同，此应用程序可能无法正确运行。

于 2017-10-19T12:11:31.643 回答
0

我对 SAP HANA 不太熟悉，但一般来说，列存储数据库没有传统关系意义上的索引。相反，每一列都像一个单独的索引。

这种类型的数据库通常适用于分析查询，因为它们通常会读取大量数据。以任何事实表为例，其中一个维度的外键传统上会有很多重复值（假设维度在行方面比事实表小得多）。

如果将行插入到按（以及其他）此列排序的事实表中，您可能会在表中实现出色的压缩级别，因此读取表所需的磁盘 I/O 会少得多。

即：col_fk_to_dim = [1,1,1,1,1,2,2,2,3,3,3,3,3,3,4,5,5,5,5,5 ...]

可以压缩为 [1x5, 2x3, 3x6, 4x1,5x5, ...]

此外，如果系统分布在几个节点上，您需要考虑分布密钥，以确保每个节点都有相似的数据共享份额来处理。

如果您遇到性能问题，我首先要检查的是您针对表启动的查询。接下来检查它们正在连接的列，并查看事实表是否按这些列的排序顺序填充。

从那里您可以进一步排除故障。

于 2017-10-17T13:40:11.050 回答
0

索引不能提供更好的 SAP HANA 性能选项的一般说法是不正确的。有明显的案例表明索引可以将数据访问提高几个数量级。

与数据库性能一样，除了“存在问题”之外，还需要更多信息来找出性能下降的原因。SAP HANA 提供了一些特定的开发工件（分析视图和带有星形连接的计算视图）来支持 FACT-DIMENSION 模型查询。如果这些已经被使用，那么检查慢查询的执行计划将是下一步。

如果这不能导致提高性能的方法，那么使用PlanViz执行跟踪将是下一个最佳选择。这允许查看查询执行的哪一部分实际花费了多少时间。

这就是高级陈述可以带你到这里的程度。除此之外的任何事情都需要查看上述信息和相关查询。

于 2017-10-19T09:53:31.253 回答