2

我想从批处理数据创建一个表以进行数据挖掘。我每天将有大约 2500 万行数据进入这个表。表上定义了几个索引，所以插入（我做批量插入）速度很慢。如果没有索引，我可以粘贴 40K 行，而使用索引则更像是 3-4 K，这使得整个事情变得不可行。所以想法是按天对数据进行分区，禁用键，然后进行当天的插入，然后重新启用索引。对一天的数据重新启用索引需要 20 分钟，这很好。这让我想到了我的问题。当您重新启用索引时，它是否必须重新计算所有分区上的索引，还是仅针对那一天？很明显，对于分区所在的索引（在这种情况下为日期），它应该仅适用于那一天。但是其他指数呢？如果需要重新计算所有分区的索引，则无法在合理的时间内完成。有人知道吗？

显示创建是这样的：

sts | CREATE TABLE `sts` (
`userid` int(10) unsigned DEFAULT NULL,
`urlid` int(10) unsigned DEFAULT NULL,
`geoid` mediumint(8) unsigned DEFAULT NULL,
`cid` mediumint(8) unsigned DEFAULT NULL,
`m` smallint(5) unsigned DEFAULT NULL,
`t` smallint(5) unsigned DEFAULT NULL,
`d` tinyint(3) unsigned DEFAULT NULL,
`requested` int(10) unsigned DEFAULT NULL,
`rate` tinyint(4) DEFAULT NULL,
`mode` varchar(12) DEFAULT NULL,
`session` smallint(5) unsigned DEFAULT NULL,
`sins` smallint(5) unsigned DEFAULT NULL,
`tos` mediumint(8) unsigned DEFAULT NULL,
PRIMARY KEY (userid, urlid, requested),
KEY `id_index` (`m`),
KEY `id_index2` (`t`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1

它当前未分区。

4

1 回答 1

0

您禁用/启用table上的索引。这意味着索引将在表的所有部分上被禁用/启用。

考虑这个加载新数据的场景：

  1. 创建一个临时表，定义您需要的所有分区
  2. 将数据加载到没有索引的临时表中。
  3. 在这个表上创建索引。
  4. 将分区移动到目标表，该表的分区与登台表相同。
  5. 删除临时表上的索引

要以可控的方式对现有数据进行分区，您可以使用相同的逻辑将数据移动到新的分区表。

于 2013-06-01T18:05:17.163 回答