问题标签 [node-csv-parse]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1347 浏览

node.js - node js根据列内容过滤CSV行

我正在尝试在加载时过滤 CSV 文件,并且到目前为止已获得以下信息:

如果到处寻找参考/起点但没有取得太大进展。

0 投票
0 回答
171 浏览

node.js - 为什么使用节点模块 csv-parser 的 CSV (Macintosh) 和 CSV 解析的换行符不同?

我正在使用节点模块 csv-parser 进行流式 csv 解析。上传 CSV(逗号分隔值)时工作正常,但是当我们上传 CSV(Macintosh)文件时,会出现换行符问题。在 Windows 上生成的 CSV 包含这样的换行符 \r\n 但对于 CSV (MAC),它仅包含 \r,因为它是 Mac 格式。需要进行哪些配置才能使其适用于两种文件类型?

这是完成流挂钩的代码片段。

CSV-PARSER 有一个换行参数选项,它的默认值是“\n”,使用“\r”。

如何使换行值有条件地设置,例如,如果它是 csv(Mac)它应该为 CSV(Windows)“\r\n”和 linux“\n”“\r”?

注意:我需要在文件读取中检测到这一点。

您的帮助将不胜感激!谢谢!

0 投票
0 回答
2369 浏览

javascript - 错误:使用 createReadStream 时无法创建长度超过 0x3fffffe7 个字符的字符串

我正在解析非常大的 CSV 文件(~37gbs)。我正在使用fs.createReadStreamcsv-parser。我将它们分成 5000 行,然后将它们插入 mongo db。但是,即使注释掉了 mongo 部分,也会发生此错误。

这是解析文件的函数:

这是解析数据的函数。一个由管道分隔的单元格中的所有值有点混乱,所以我只是将它们分开:

它会很好地解析(直到~200万行)然后挂起。最后在挂了一夜之后,我早上检查并看到以下错误:

不应该createReadStream确保不会发生这种情况吗?每行有 415 列。单行是否可能太大?它总是停在同一个地方,所以这似乎很可能。由于文件太大,我没有办法打开它们。如果是这样,我怎样才能检测到这一点并跳过这一行或以不同的方式处理它?

0 投票
1 回答
345 浏览

node.js - CSV_NON_TRIMABLE_CHAR_AFTER_CLOSING_QUOTE CSV 解析节点?

我正在使用引发此错误的第 3 方应用程序:

加载 csv 文件时(我必须使用此应用程序)。我认为这个应用程序正在使用这个节点服务:https ://csv.js.org/parse/errors/

我还认为问题在于第 16 列的字段如下所示:

但是我不太明白这个问题。

谁能告诉我这个专栏是否没有正确地转义引号?我在第 16 列中有大量文件和许多类似的实例,因此手动修复它会很痛苦。

0 投票
1 回答
105 浏览

node.js - 巨大的 CSV 数据显示在 ChartJS

我有一个包含这样数据的 CSV 文件 -

我正在使用node-csv包阅读它并将其发送到Angular基于前端,以便稍后使用ChartJS.

由于数据的密度(每秒),该图表看起来很难看。

我正在寻找四舍五入来自 CSV 的数据,这些数据应该是 -

  1. 从最新条目的最后 6 小时开始。
  2. 应将 CSV 中的 a、b、c、d... 的相应值汇总到 30 分钟。
0 投票
0 回答
18 浏览

node.js - 如何在循环的承诺迭代中让 readStream 指向不同的文件

我正在尝试将多个 CSV 文件解析为一个 JSON 文件。

我的问题是我不能重用读取流,因为它不会更新它正在读取的文件。因此,对于循环的每次迭代,我都会继续读取传递给它的第一个 csv 文件。

这是我用来读取目录中所有 CSV 文件的代码,然后将一个实例包装createReadStream在 Promise 中,等待结果,然后继续解析下一个 CSV 文件。(虽然它不会读取下一个 CSV 文件的值,它只是返回每次传递给它的第一个 CSV 文件的结果)

这是我正在使用的代码

非常感谢任何帮助/建议!

0 投票
1 回答
133 浏览

node.js - 仅通过最后一个逗号在 NodeJS 中解析 CSV

我的团队正在尝试以 CSV 格式接受开发人员提出的问题并将其解析以放入数据库中。一些开发人员的问题中有逗号。

CSV 的格式是 Question,Answer。例如,一行可能是“嗨,你好吗,好”或“生活是什么?,42”

这是我们当前的代码。谢谢您的帮助

0 投票
1 回答
1027 浏览

javascript - 如何使用 csv-parser 遍历 nodejs 中的行?

我正在尝试编写一个脚本来帮助我吐出无聊的工作代码。

所以有时,我会得到一个 .csv 文件,指示我创建表格字段,有时一次最多 50 个!(使用 AL,一种 Business Central 编程语言。)

我试着写这个;

并有这个测试 .csv 文件;

这个想法是读取 .csv 文件,遍历每一行,然后写入一个文本文件,然后我将在我正在处理的代码文件中传递该文件。听起来可能很无聊,但可以为我节省大量时间。我是一个菜鸟 Javascript/Node 开发人员,所以请原谅我的缺点。

运行代码后,text.txt中的输出为;

这是不正确的。正确的结果应该是;

高度赞赏指导。先感谢您!

0 投票
1 回答
37 浏览

node.js - 处理节点中列数不等的 csv 文件

我有以下处理我的 csv 文件的函数。不幸的是,csv 文件有一列也使用逗号作为千位分隔符(我对这个导出的 csv 文件及其结构没有影响)。因此,在某一行的每个文件中,都会有一个额外的列。

在 on('data', ()) 方法中,我已经通过将两个字段连接在一起并删除冗余字段来修复此值。但最后,这仍然会导致行带有额外的列。通过这样做,第 4 列将是空的..

我想让每个字段在删除字段时都向左“移动”。有可能操纵这个吗?还是我需要一个额外的函数来处理输出并忽略所有“空”字段。

0 投票
0 回答
26 浏览

typescript - 问题:TYPEscript中存在通过cdv文件的ENOENT错误

我需要帮助,在打字稿中我试图读取同一文件夹中的 cdv 文件,但出现 enoent 错误