问题标签 [tokudb]

我一直在考虑在开源项目中实现 Bε 树索引。据我了解，PerconaFT 键值存储使用它们作为分形索引的基础，并且他们声称他们使用了几项美国专利 - 第 8,185,551 号和第 8,489,638 号。我不是律师，所以我有一个问题，这是否意味着没有其他人可以在他们的软件产品中实际实现基于 Bε 树的索引？

我有一张在 MariaDB 10.2 中使用 TokuDB 引擎的表

该表目前对约 2500 个传感器进行了约 7 亿次测量。

我想获取表中所有不同的传感器名称。

有这个名字的索引。

尽管如此，MariaDB 似乎还是进行了全表扫描，需要大约 5 分钟。

我能做些什么来加快速度？

表格是：

查询是一个普通的

尽管如此，当查询运行时，状态就像Queried about 513770000 rows在SHOW PROCESSLIST

解释说使用了索引，但是考虑到只有〜2500个不同的值，这不应该更快吗？

如果我删除 sensor_id 上的索引，则说明更改为：

但性能没有显着变化。

我的慢查询日志中有以下条目：

id是该表中的主键；并且有一条与此匹配的记录id

PK 选择速度很快。并且在大多数情况下，通过 PK 更新运行得更快；所以我正在尝试找出速度较慢的原因。

CPU、I/O 或内存监控上没有出现明显的峰值；并且系统上的负载相对平坦。

这些查询的时间接近 4 秒似乎有某种模式。它不像我有 2 到 6 秒之间的分布；他们在 4 日没事！

4秒PK更新小群显示；其中一些来了 4 秒；一个接一个。

所有这些；似乎表明了什么……奇怪。

服务器上有超过 1000 个 db 连接，所以我想知道是否可能有一些线程调度的东西不时阻塞？

为什么 TokuDB 默认限制每个表 64 个键，而像 Elasticsearch 这样的系统允许索引任意数量的字段（仅受可用资源限制）？

我目前正在编写一个处理大量数据并将它们写入 MySQL 的 PHP 应用程序。我使用 Percona MySQL 和 TokuDB 引擎，但很难处理。该应用程序目前基于“INSERT ... ON DUPLICATE KEY UPDATE”查询每秒进行大约 400 - 800 次插入/更新。一开始它无法及时处理所有这些数据，所以我不得不将我的数据库日志文件移动到 Ramdisk，现在它工作正常，但如果数据量略有增加 - 它将无法处理一切。所以我想知道 - 除了 MySQL（甚至是 MySQL）之外，是否有其他解决方案与 PHP 兼容，每秒允许大约 1000 次插入/更新，并支持简单的查询，如“SELECT * FROM fasterDB.fasterTABLE WHERE a = 1 AND b = 2"。并且，

据我所知，TokuDB 很快就会有一个新的官方版本，其中会有一个“noar”，它会更快地“插入......在重复密钥更新”，但目前还不清楚 - 它何时可用于 CentOS7：- (

我在我们的一些数据库服务器上使用来自 Percona 的 TokuDb。我设置了数据库，添加了第一批数据，一切正常。

过了一段时间并添加了数百万个条目后，我注意到数据库性能严重下降。事实证明，某些表的索引的基数为零。这不会同时影响所有表，但主要影响多个表。

mysql错误日志列出了一些这样的问题

所以我尝试禁用 auto_analyze 来防止这个问题。现在不再推送此日志，但索引基数再次被删除。

测试解决方案：

1. 我尝试通过执行来修复索引

   它有效。但是现在几天后，同样的问题又回来了。

2. 禁用 auto_analyze 由

   /li>

系统：

• Percona TokuDB 5.7.16-10

• 表包含大约 1100 万行

  /li>

桌子每天多次在重负荷下工作一个小时。

我正在尝试加入两个不同引擎上的两个表。一个在 Innodb 上，另一个在 Tokudb 上。

查询类似于：

这里table1有 a(indexed), b(indexed), c 列并且有引擎innodb
而table2有 x(indexed), y, z 列并且有引擎tokudb

它正在扫描 table2 的所有行并使用连接类型：ALL

解释查询的结果

如您所见，它正在扫描整个 table2。我在这里错过了什么吗？还是因为它加入了两个不同的引擎？

创建表语法

表格1

表2

如何使用 tar 文件将 Percona 5.7 与引擎 TokuDB 一起使用？

我想安装可以在这里找到的二进制文件：https ://www.percona.com/downloads/Percona-Server-5.7/LATEST/

我已完成以下步骤：

不确定上述是否正确，我不知道下一步应该是什么。我找不到任何指南如何做到这一点，只有如何用数据包管理器做到这一点。有人知道如何继续吗？

我需要手动下载 tokudb 插件还是包含在内？如何启动 mysql 守护进程？

注意我不想使用 docker 或任何数据包管理器。这个我知道该怎么做。我希望能够在服务文件夹下安装 mysql，这样我就可以在完成后轻松删除它。

运行 percona/percona-server:5.7 映像并启用 TokuDB 时，它抱怨启用了透明大页面 (THP)。但是我已在以下位置将其关闭：“计算机配置\Windows 设置\安全设置\本地策略\用户权限分配”

https://docs.microsoft.com/en-us/windows/security/threat-protection/security-policy-settings/lock-pages-in-memory

当我运行以下行时：

我收到此错误消息：

知道如何在启动 docker 映像之前将其关闭吗？

我可以看到它在以下位置启用：

我安装了启用 TokuDB 的 Percona MySql v8.0.18-9。

我开始了一个 LOAD DATA 查询，将一个 100GB 的文件加载到 TokuDB 表中。根据加载的初始速度，查询似乎需要 24 小时。

24 小时后，查询速度似乎大大减慢，需要 5 天时间。所以我杀了它，看起来回滚需要两天才能完成，所以我重新启动了 MySql 服务器（我知道。我知道。愚蠢的事情）。

MySql 重新启动，现在处于回滚模式

按照这个速度，回滚似乎需要 2 天才能完成。

我不关心这个表中的数据。所以我想知道是否有任何方法可以停止回滚，这样我就不必等待 2 天来开始另一个 Load Data 查询（这次希望通过删除不必要的索引来显着改进表结构）

我尝试四处搜索，但只能发现文件 tokudb.rollback 是导致此问题的原因。无论如何清空/删除此文件而不会引起任何问题？

Innodb 似乎有一个选项可以将 innodb_force_recovery 设置为 3，这将禁用恢复。我无法为 tokudb 找到类似的东西。