我需要将大型数据集加载到生产数据库中。
每个需要上传 15 个文件并插入到一个表中。每个约为500 Mb。
我有两个需要索引的 ID 列。如果我加载带有索引的文件,上传大约需要 3 个小时。如果我删除索引,加载数据本地 infile,然后重新添加索引,整个操作大约需要 30 分钟。
问题是,在索引新导入的数据时,数据库响应能力会受到很大影响。有没有办法让索引以“低优先级”运行,以便其他查询仍然获得 95-100% 的速度,并且索引类型在后台运行?
我正在使用Amazon RDS,因此我无法选择仅在不同的服务器上加载然后复制表文件。
对此添加赏金,因为我仍然想看看是否有办法在对特定框进行索引时获得良好的性能。