问题标签 [load-data-infile]

表 T1 结构：col1 编号，col2 编号

表 T2 结构：col1 编号、col2 编号、col3 编号

.csv 文件：

我希望表 T1 中的数据为：

我希望表 T2 中的数据为：

以下控制文件不起作用

请帮我解决这个问题。

我正在考虑从 MySQL 切换到 PostgreSQL。

您在使用 PostgreSQL 时有哪些提示、技巧和陷阱？

MySQLer 应该注意什么？

另请参阅：PostgreSQL 与 MySQL 有何不同？
另请参阅：从 MySQL 迁移到 PostgreSQL

注意 - 我不认为这是重复的。特别是答案的类型非常不同，这里的响应有更多的实现细节，这就是我正在寻找的

我有一个大小为 1.5GB 或大约 1.3 千万行的文本文件。当我将此文本文件加载到 MYSQL 中相同结构的表中时，

它的 Loads only 62Lack 记录，显示 65K 警告和 Finished。什么原因，为什么它只加载一半的记录？？？

我需要增加缓冲区大小吗？如果是，那么如何？

或者还有其他原因。

你们能帮帮我吗？？

让我设置一下情况。我们正在尝试将适量的行数（每天大约 10-20M）插入到适度宽的 MyISAM 表中：

除了巨大的主键之外，唯一的索引是 blah7，即日期字段。我们正在使用 LOAD DATA INFILE 并看到让我印象非常糟糕的性能，大约需要 2 个小时来加载数据。我被引导相信 LOAD DATA INFILE 比这快几个数量级。

有趣的是，我们有一些不太胖的表（5-6 个字段），我们还使用 LOAD DATA INFILE 将数据批处理到其中，我们看到这些表的性能要好得多。记录的数量要少得多，这让我认为当我们加载大表时我们遇到了缓冲区大小限制，并且必须转到磁盘（实际上，除了磁盘还有什么解释这么慢的加载时间？）。

...这让我想到了我的问题。在处理 LOAD DATA INFILE 命令时，哪些 my.cnf 设置最重要？

我需要将大约 200 万条记录从 SQL Server 2008 Express 中的 4 个表传输到 MySQL。

在 C# 中，我可以使用Table-Valued 参数在事务中非常快速地插入这些记录。（大约 50 秒）。

如何在 C# 中为 MySQL 做类似的事情？

尝试将平面文件数据库转储中的数据加载到新表中时遇到权限错误。我知道文件的架构和我的表是相同的，我尝试调整权限。我还应该尝试什么？

我有一张表分布在运行 MySql 4 的两台服务器上。我需要将它们合并到一台服务器中以用于我们的测试环境。

这些表实际上每个都有数百万条记录，它们在两台服务器上的原因是因为它们有多大。表的任何更改和分页都会给我们带来太大的性能损失。

因为它们在生产环境中，所以我不可能在现有服务器上以任何方式更改它们。

问题是主键是一个唯一的自动递增字段，因此存在交叉点。

我一直在试图弄清楚如何使用 mysqldump 命令忽略某些字段，但是 --disable-keys 只是改变了表，而不是完全摆脱了键。

在这一点上，看起来我需要修改数据库结构以利用主键的校验和或哈希作为实际上应该是唯一的两个唯一字段的组合......我真的不想做这个。

帮助！

我使用 PHP 和 MySQL 从巨大的 XML 中解析出数千个数据，并将其插入到数据库表中。我的问题是将所有数据插入表中需要很长时间。有没有办法将我的数据分成更小的组，以便插入过程按组进行？例如，如何设置一个将数据处理 100 的脚本？这是我的代码：

}

*注意：$itemList 大约有 62,000 个并且还在增长。

计算插入数据库的新记录的最简单方法是什么？是否可以在负载查询中包含计数查询？

还是需要更复杂的东西，例如记录现有的最后一条记录并计算在它之后添加的所有内容？

编辑：

我有一个 cron 作业，它在直接传递给 mysql 的脚本中使用 LOAD DATA INFILE。此数据与 php Web 应用程序一起使用。作为 php web 应用程序的一部分，我需要生成每周报告，包括上周插入了多少条记录。

我无法修补 mysql，或彻底更改数据库架构/结构，但我能够添加新表或字段。我不希望从 csv 文件中计算记录并将结果存储在文本文件或其他文件中。相反，我更愿意在 PHP 中使用查询来做所有事情。

我有很多统一行的文本文件，我想将它们加载到 mysql 数据库中，但这些文件并不完全统一。开头有几行用于一些杂项信息，大约每6行有一个时间戳。

由于我的文件格式，“LOAD DATA INFILE”似乎不是这里的答案。它似乎不够灵活。

注意：文件的标题占用预先确定的行数。时间戳是可预测的，但还有一些其他的随机注释可以弹出，需要忽略。它们总是以我可以检查的几个关键字开头。

中间我的文件样本：

从这里我需要将信息加载到三个字段中。第一个字段需要是文件名，另一个在示例中。我可以将文件名添加到每个数据行的前面，但如果我使用脚本加载数据，这可能不是必需的。

如果需要，我可以更改文件格式，但我不想丢失时间戳和标头信息。

对于我相当熟悉的 python，SQLAlchemy 似乎是一个不错的选择。

我有数千行数据，所以一开始加载我已经拥有的所有文件可能会很慢，但之后，我只想加载文件的新行。所以，我需要对我加载的内容有所选择，因为我不想要重复的信息。

关于从文本文件到 mysql 数据库的选择性数据加载方法有什么建议吗？除此之外，您建议仅加载数据库中尚不存在的文件行吗？

谢谢大家。同时，我将更多地研究 SQLAlchemy，看看我是否能找到合适的地方。