0

我有一个旧的 php Web 应用程序，它执行 csv --> 数据库导入，进入一个存储实体数据的“主”表，以及一个存储每个实体的动态数据的实体属性值表。

导入过程是通过 csv 文件逐行迭代，每行在主表中插入一个插入，在 EAV 表中插入多个插入。

这个过程是SLOOW，对mysql调优知之甚少的告诉我，一个LOAD DATA语句一般要比一系列INSERT快得多；然而，由于 EAV 过程，迭代仍然必须发生，尽管基于数据库查询的结果而不是 csv 文件。

  • 是否值得进行修改？

  • 如果每个文件中有数千万条记录，通常只有不到 2/3 的文件字段实际映射到属性，这有什么不同吗？

4

1 回答 1

0

听起来像是一个有用的修改。我要做的是将 CSV 预处理为两个文件 - 主表和 eav 表。棘手的部分是在这两个文件之间建立某种链接，以便您可以使用正确的外键插入 eav 表。

如果：

  1. 您可以在执行加载时锁定对系统的任何其他写访问
  2. 主表主键是一个递增的整数

在这种情况下，您可以轻松地提前“知道” eav 外键值，并在为任一表加载数据之前进行适当设置。

如果没有，您需要弄清楚如何获取主表记录的主键值，发布 LOAD DATA，并相应地与 eav 记录链接。

于 2011-01-31T19:42:11.877 回答