我已经成功编写了一个脚本，该脚本使用 cURL 下载 CSV 文件，然后将 CSV 解析为数组，如下所示：

然后我迭代$rows使用foreach将某些内容保存到数据库中。

该脚本运行良好，但是当使用较大的 CSV 文件（>10.000 行）时，该脚本变得相当慢并给出更多错误。

我想将 CSV 文件切成小块，因此不会将整个文件导入到变量中。我找到了以下解决方案，但它仍然一次处理整个文件。

有没有办法将 CSV 切成小块并多次运行数据库功能？或者有没有更好的方法来处理这样的大型 CSV 文件？

我对处理大文件比较陌生，所以请善待！

我正在开发一个需要使用 Workbench 将 csv 数据导入 mysql 表的项目。我尝试运行以下命令。我没有收到任何错误，但是没有记录被导入到表中。请注意，我尝试更改以 to 结尾的行\n，也尝试\r了，这导致了相同的结果。

我很感激有关如何解决的任何建议。

这是我尝试过的查询：

数据导入.csv

db.t1 定义

我正在创建一个 VBA/宏，将 2 个 CSV 文件从特定文件夹导入到我创建的 Excel 模板中的 2 个工作表中。

更具体地说，这些文件每天都会创建并保存为新工作簿（每天将两个新文件添加到文件夹中）所以我的问题是如何编写宏以始终导入 2 个最新文件？

请参阅下面的代码，我从中手动选择并使用宏导入最新文件。但是，重新运行宏不起作用，因为它显示"run-time error '5' - invalid procedure call or argument"。您的帮助将不胜感激。

我试图让进口商在进口期间选择一个集合选择选项。现在导入器可以工作，但是它在导入过程中没有选择模型类型。

我的架构：

硬件.rb

在我的硬件控制器中导入 Def：

CSV 文件

当我运行导入器时，它会填写序列号和型号，并忽略位置、poc_id 和 modeltype_id。如何在导入期间使用下拉菜单。本质上，我希望它在下拉列表中搜索匹配项并在导入时选择它。

我正在使用 logstash 将数据从 csv 文件导入到我们的弹性搜索中。

在导入期间，我想创建一个包含其他两个字段值的新字段。这是我的导入片段：

这可以按需要工作，但是在例如 name3 为空的行上，logstash 会写入%{name3}新字段。有没有办法只添加不为空的值？

我有一个 csv，其中一列的值在 dict 列表中，如下所示

现在因为当我从CSV它的 a中读取它时，string我无法将它转换为原始类型的list of dictthen json。

我如何才能真正做到这一点。

解决方案 ：

我正在尝试将 CSV 文件导入到我的 PostgreSQL，但出现此错误

我的 csv 文件很简单

该表是使用以下代码创建的：

我有一个 csv 文件的文件夹，我正在解析为 PostgreSQL 数据库，在大多数情况下它相对简单，但是其中一个值作为字符串返回，但实际上是一个字典列表，如下所示：

编辑：这是正在读取的值的结构，它具有可变数量的条目，或者有时根本没有。这是一个字符串，由 csv 读取器对象读入，作为一行中的值

它不是一个有效的 json 对象，所以你不能 json.loads() 它。我也试过把它变成一个 json 字符串

给我：

这是一个有效的 json 对象，但 json.loads 仍然会抛出一个 ValueError。

我正在做一些事情：

本质上，这让我为 csv 文件的每一行提供了一个字典，然后我将其推送到数据库中。我敢肯定这可能更干净，但它的一个和完成的代码，我遇到的问题是如何处理实际上是一个列表的字符串值。我确信有一些简单的方法可以处理我忽略的这个问题。

我的第一个想法是将值放入一个空列表中（假设这会给我一个可迭代的字典列表。）但这只是给了我字符串中的字符列表。

我也无法用逗号分割字符串，因为自然文本字段有标点符号。

有什么想法吗？

我在我的 mac（mac OS High Sierra）上使用 Neo4j 数据库，并希望将 csv 文件导入数据库。

我想使用“加载 CSV”命令，我的问题是如何构造命令？

csv文件的结构如下：

标题行：

SALES_VOLUMES,NET_SALES,CM1,PRODUCT_MAIN_GROUP,REGION,SBU,SALES_TYPE,DATA_SOURCE,PERIOD,PERIOD_YEAR,PERIOD_HALF_YEAR,PERIOD_QUARTER,PERIOD_MONTH,CURRENCY,USERID,ENTRY_TS

属性：第 2 行

267,484,116,Oettinger Mix Bier und Cola,South America,Oettinger,3rd_party,BW B,201003,2010,1,1,3,eur,system,27-NOV-10 08.43.59.000000000 PM

属性：第 3 行

0,0,0,Oettinger Schwarzbier,Asia,Oettinger,3rd_party,BW B,201003,2010,1,1,3,eur,system,27-NOV-10 08.44.00.000000000 PM

尊敬的，

我在通过 pgAdmin 将 CSV 导入 PostgreSQL 时遇到问题。无论我做什么，它都会显示以下错误：

谁能帮助我并指出一个可能的解决方案？

谢谢你。米洛拉德 K.