mysql - 如何处理mysql中的“太多列”

Question

我在制表符分隔的文件中有 1800 列和大约 400 万行。我正在尝试将其加载为 mysql 关系。mysql是给我 ERROR 1117 (HY0000): Too many columns的。我在网上查了一下，发现 MySQL 无法处理这么大的数据，有人建议将表垂直分区。

我正在寻找的是有关如何对此进行分区以及如何对分区表执行选择查询的示例。

谢谢

Answer 1

您可以拥有任意数量的表来定义单个关系。由于几个原因（性能、安全性），它也被认为是可接受的做法。

您只需要拆分 csv 文件并保持表与相同的主键链接。

要拆分 csv 文件，您可以轻松使用 cut （希望没有大小限制）：

cut -d"," -f1-1000 patients.csv > cols1000.csv
cut -d"," -f1001-1800 patients.csv > cols1800.csv

当然，如果您愿意，您可以拆分更多。对于表格，我知道您已经知道如何导入。只需在两个表中使用 auto_increment pkey 来保持关系。