问题标签 [load-data-infile]

有什么好的程序可以处理读取大型 CSV 文件吗？我处理的一些数据文件在 1 GB 范围内。它们有太多行，Excel 甚至无法处理。使用 Access 可能会有点慢，因为您必须将它们实际导入数据库才能直接使用它们。是否有可以打开大型 CSV 文件并为您提供简单的电子表格布局以帮助您轻松快速地扫描数据的程序？

我需要一种方法来轻松地将 MySQL 表中的数据从远程服务器导出然后导入到我的家庭服务器。我没有直接访问服务器的权限，也没有安装 phpMyAdmin 等实用程序。但是，我确实有能力将 PHP 脚本放在服务器上。

我如何获取数据？

我问这个问题纯粹是为了记录我的做法

我需要将较大的 (24MB) 文本文件导入 MySQL 表。每行如下所示：

每个字段后面有一个或多个空格，最后一个字段在换行符之前尾随大约 36 个空格。

如何将这样的文件导入 MySQL？从文档看来， LOAD DATA 期望所有字段都以完全相同的字符串终止。我试过了

但是 MySQL 会将多个空格的序列解释为分隔一个空字段。

有任何想法吗？

将数据从平面文件加载到 MySQL 数据库中，然后通过外键创建表之间关系的最快方法是什么？

例如......我有一个格式为：

我需要将其加载到四个表中：

具体来说，如何以一种可扩展的方式填充外键？这些数字在 1000 多个人的范围内，每个人都有 100 万多个基因型。

是否可以将 csv 数据导入 mysql 并自动创建列名，就像我可以只创建表一样，还是必须创建表名？

是否可以在导入时检查重复条目？我有一个标识符字段，但不知道如何制作它，所以它不会被导入两次。

您如何将网站上的 jpeg 文件导入到字段中？假设该网站已存储在本地，并且具有与标识符相同的文件名，并在末尾添加了“.jpeg”。

我用 C 语言编写了一个程序来解析大型 XML 文件，然后使用插入语句创建文件。其他一些进程会将文件摄取到 MySQL 数据库中。这些数据将用作索引服务，以便用户可以轻松找到文档。

我选择 InnoDB 是因为它具有行级锁定的能力。C 程序将在给定调用上生成 500 到 500 万条插入语句。

尽快将所有这些数据输入数据库的最佳方法是什么？要注意的另一件事是数据库位于单独的服务器上。是否值得将文件移动到该服务器以加快插入速度？

编辑：该表不会真正更新，但行将被删除。

在 MySQL 中，使用基于语句的复制，我假设每个 SQL 语句在从属服务器上的执行方式与在主服务器上的执行方式完全相同。但是，当我运行语句时：

我不确定该文件是否需要以与主服务器相同的方式存在于从服务器上。有人可以指点我这个功能的文档吗？

我使用了一个应用程序将一些数据从文本文件导入到 mysql。我使用了以下代码。

但是将数据从文本加载到 mysql 的查询为空。谁能告诉我我在哪里犯了错误？

这是我的命令行查询。

ERROR 1064 (42000)：您的 SQL 语法有错误；检查与您的 MySQL 服务器版本相对应的手册以获取正确的语法，以便在 'fields terminate by ',' lines 以 '\n'set Dateformat=str_to_date(Date' at line 1 附近使用

我不知道错误在哪里！谁能帮我？

我有一个要在 MYSQL 表中插入的批量数据，假设一次 10k，我正在做的是将数据存储在 XML 文件中，然后进行插入（数据大约为 50K 行），这需要很多时间，在 MySQL 表中是否有批量插入的选项。

在此先感谢，
请帮助。