我已经加载了一个巨大的 CSV 数据集——使用 PostgreSQL 的 COPY 的 Eclipse 的过滤使用数据,它占用了大量空间,因为它没有被规范化:三个 TEXT 列被更有效地重构为单独的表,以便从主表中引用具有外键列的表。
我的问题是:加载所有数据后重构数据库更快,还是创建具有所有约束的预期表,然后加载数据?前者涉及重复扫描一个巨大的表(接近 10^9 行),而后者将涉及对每个 CSV 行执行多个查询(例如,以前见过这种动作类型吗?如果没有,将其添加到动作表中,获取其ID,在主表中创建一个具有正确操作 ID 的行等)。
现在每个重构步骤大约需要一天左右的时间,初始加载也需要大约相同的时间。