问题标签 [load-data-infile]

我这里有问题。我有大约 13K 行数据要放入 mysql 数据库。我注意到的是，如果该行“短”，则插入会发生，但如果它很长，则会失败。我整天都在努力解决这个问题，我即将放弃。

这是表结构。

这是一行可以正常使用的。

这是一个失败的大行。

任何帮助是极大的赞赏。

这是我用来将数据导入数据库的方法

我刚刚尝试加载上面的大型数据集，这是错误：mysql> LOAD DATA INFILE '/tmp/data.txt' INTO TABLE concordance FIELDS TERMINATED BY '*'; ERROR 1261 (01000)：第 1 行不包含所有列的数据

这是有效的代码：

我正在尝试将 CSV 文件加载到我的 MySQL 数据库中，但我想跳过第一行。

我实际上它包含我的列的名称并且没有有趣的数据。

这是我正在使用的查询：

MySql 是否有批量加载命令行工具，例如用于 SQLServer 的 bcp 和用于 Oracle 的 sqlldr？我知道有一个 SQL 命令LOAD INFILE或类似命令，但有时我需要将不同盒子上的文件批量加载到 MySQL 数据库。

我试图使用“LOAD DATA LOCAL INFILE 'filename' INTO TABLE 'tablename'”将数据文件加载到 mysql 表中。

问题是源数据文件包含每个字段的数据，但缺少主键（“id”列）。我必须为源数据文件的每一行添加一个唯一的 ID，否则导入将无法通过。

是否可以选择忽略源文件中的主键或在导入期间自动增加主键？

它已被设置为自动增量主键。

我正在使用 load data infile 语法将 csv 文件导出到 mysql db。csv 中的日期是2009/10/31 7:8:57.0格式。有没有办法在加载时将其转换为类似的东西2009-10-31 07:08:57？

我正在编写一个 PHP 脚本，它将两个不同数据库中的表中的数据导入另一个数据库中。我已经让它与样本数据一起工作，除了现在我已经开始使用更接近其最终用途的数据：每张表有 25+ 百万条记录，并且每天都在增长。显然，效率是一个问题。

这是它当前的工作方式。我复制了表结构，添加了几个额外的字段来维护密钥的完整性：

这是SQL。它有一个ON DUPLICATE KEY UPDATE声明，因为这个导入需要定期进行，更新“mydb”中的数据。值得庆幸的是，不会从“其他”数据库中删除记录（我认为！）。

我的问题是：这是最好的方法吗？考虑到将有数百万条记录，每个表总共有数 GB 的数据，还有其他方法可能更快吗？

我正在尝试通过以下命令将 95 GB CSV文件上传到MySQL数据库（MySQL 5.1.36）：

我目前正在通过 DOS 运行此脚本，但数据库没有响应。它适用于较小的 CSV 文件（1.5 GB）。它适用于这个文件大小吗？

您对如何更有效/更快地做到这一点有什么建议吗？engine = CSV 会是一个替代方案（索引未激活！->所以查询可能运行得非常慢？）。

更新

感谢您的提示，它工作！

希望这有助于其他人避免将数据分成块。

我正在使用以下语句将文件中的数据加载到表中：

现在，如果我想在 uid1 中输入一个自定义值，比如 328383 而实际上并没有要求它从文件中读取它，我该怎么做？大约有 10 个文件，uid1 是每个文件的标识符。我正在寻找这样的东西：

有什么建议么？

使用 LOAD DATA INFILE 时，有没有办法标记重复行，或将任何/所有重复项转储到单独的表中？

我有一个大约有 700 万行的表。每天一次，我需要将大约 200,000 条新行批量导入到该表中。为此，我首先使用 禁用表上的键LOAD DATA INFILE，然后重新启用表上的键。

我遇到的问题是ALTER TABLE my_table ENABLE KEYS声明。
大约需要 15 分钟才能完成。我试图通过增加来提高性能myisam_sort_buffer_size，但这似乎没有帮助。还有其他想法吗？