问题标签 [load-data-infile]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
3058 浏览

mysql - MYSQL 加载数据文件

我在 mysql 中使用 LOAD DATA INFILE。在我的输入文件中,我有“x”字符,但我必须将它作为 NULL 保存到数据库中。我该怎么做?

0 投票
2 回答
16539 浏览

sql - 将 CSV 文件导入 MySQL 数据库的工具?

我有几个 CSV 文件要导入到表中。它们都包含不同数量的列,因此每次导入期间都会缺少一些数据。我需要一个工具来映射哪个 CSV 列进入哪个 MySQL 列。看起来 MySQL 工作台不能做到这一点。我还能用什么?

0 投票
2 回答
1861 浏览

mysql - MySQL 加载命令:数据文件是否有可用的通配符?

我每天都会将以下文件转储到我们的在线目录之一中:

数字每天随机变化。

我有以下代码来尝试加载文件:

当然没有运气。最好的方法是什么?

0 投票
1 回答
508 浏览

php - 加载数据文件问题

我目前在查询中使用 LOAD DATA INFILE,但我不确定如何分隔数据

数据格式如下 firstname:lastname

我将如何使用它从文本文件中获取数据并拆分名字:姓氏以将名字插入名字并将姓氏插入姓氏?

0 投票
2 回答
3183 浏览

sql - LOAD DATA INFILE (*.csv) - 忽略空单元格

我即将将一个大 (500 MB) *.csv 文件导入 MySQL 数据库。

我就这样:

我对其中一个列有问题(它的数据类型是 int) - 我收到一条错误消息:

错误代码:1366 不正确的整数值:行列的“”

我查看了 *.csv 文件中的这一行。导致错误的单元格内部只有一个空格(如下所示:...; ;...)。

如何告诉 SQL 忽略此列中的空格?

由于 *.csv 文件非常大,之后我必须导入更大的文件,所以我想避免编辑 *.csv 文件;我正在寻找一个 SQL 解决方案。

0 投票
1 回答
552 浏览

mysql - MySQL:将一个文件中的数据插入到两张表中,一张带有 auto_increment id,一张连接表

我有 500M+ 记录的数据,在一个有 2 个字段的文件中,blob并且c_id.

还有两个其他文件具有其他格式的相同数据: 一个具有 90M 唯一 blob 的文件。带有 blob 的文件,以及每条记录的 c_id 的逗号分隔列表。

我有两张桌子:

对于每个唯一的 blob,必须在 table_a 中创建一条记录。对于文件中的每条记录,必须使用 table_a 的适当外键创建 table_b 中的记录。

我现在使用的解决方案是生成插入语句,使用last_insert_id,但是太慢了。我更喜欢使用 LOAD DATA INFILE,但自动增量 ID 使事情变得复杂。

例如

期望的输出:

0 投票
5 回答
9843 浏览

mysql - 如何加快数据加载到 InnoDB (LOAD DATA INFILE)?

我想加快数据加载速度。

我使用 MySQL 5.5、InnoDB 并有 1M 行数据(65Mb 文件)。需要 5 分钟。

哪些 mysql 设置和命令会影响 InnoDB 的 LOAD DATA INFILE 速度?

谢谢你。

0 投票
3 回答
3004 浏览

mysql - 当仍然需要实时 SELECT 查询时,MySQL 锁定处理大型 LOAD DATA INFILE

请从能够抽出时间的 Super Guru MySQL/PHP 专业人士那里寻求一些帮助和建议。

我有一个 PHP/MySQL 的 web 应用程序,它多年来一直在增长,并且得到了很多搜索。现在,当使用 MySQL LOAD DATA INFILE 处理新行的各种日常数据转储时,它会遇到瓶颈。

它是一个包含大约 150 万行的大型 MyISAM 表,所有 SELECT 查询都发生在它上面。当这些发生在大约 600k 行的 LOAD DATA INFILE 期间(并删除过时的数据)时,它们只会被备份并需要大约 30 分钟以上的时间才能释放,从而使这些搜索中的任何一个都没有结果。

我需要想出一种方法来更新该表,同时保留在合理的时间范围内提供 SELECT 结果的能力。

我完全没有想法,也无法自己想出解决方案,因为这是我第一次遇到此类问题。

任何有用的建议、解决方案或类似过去经验的指示将不胜感激,因为我很想学习解决这类问题。

非常感谢大家的时间!Ĵ

0 投票
1 回答
3398 浏览

mysql - SQL LOAD DATA INFILE 问题

如何让 LOAD DATA INFILE 命令跳过某些字段。

可以说我有下表:

还有我的文件:

声明:

自动跳过自动增量并正确处理?它似乎可以正确处理所有内容,但这会产生以下警告:

删除开头的逗号不会正确输入数据。

0 投票
1 回答
1610 浏览

mysql - MySQL DATE 和 BIGINT 与 LOAD DATA LOCAL INFILE

亲爱的,我正在开发一个能够将历史市场数据从文件加载到 MySQL 表的 Java 脚本,其中每个数据记录都包含“日期”和“时间戳”字段。通常的记录表示为:

01/11/2010,10:00:00.007,P,210.8,210.86,6,2,R,,2486662,P,P,,0,,N 01/11/2010,10:00:00.577,W, 210.51,211.61,1,1,R,,2487172,W,W,,0,,N

其中第一列代表“日期”,第二列代表“时间戳”(以毫秒为粒度)。由于 MySQL 不支持毫秒粒度,因此我使用“时间戳”字段的 BIGINT(长)表示。

目前负载查询如下:

除了最后一行(抛出 SQLExceptions)之外,查询工作正常。我尝试了不同的格式模式,但在转换为 unix 时间戳之前,在计算从字符串到时间戳的转换时遇到了问题。谷歌也没有帮助。如果有人能提出合理的解决方案,我将不胜感激。不幸的是,将 MySQL 更改为其他数据库不是一种选择。

问候,