问题标签 [fast-csv]

I'm learning Electron by writing the app that should parse and analyze .csv files. As a frontend part of it I'm using Vue.js. Initial functionality should be next: user selects a file, main process parses it, file's summary displayed at the client as a part of a Vue component. Code below:

Please tell me the right way to wait the async part of loadDataCSV() to be completed before sending answer to ipcRenderer.

我有数百个 JSON 文件，我需要按定义的顺序处理这些文件，并以与 JSON 文件相同的顺序将内容写回为 CSV：

1. 编写带有标题的 CSV 文件
2. 收集要处理的 JSON 文件数组
3. 读取文件并返回包含所需信息的数组
4. 附加在 #1 下创建的 CSV 文件，其中包含信息
5. 在第 3 步继续处理下一个 JSON 文件

JSON 示例：

https://gist.github.com/Sineos/a40718c13ad0834b4a0056091e3ac4ca

https://gist.github.com/Sineos/d626c3087074c23a073379ecef84a55c

问题

虽然代码基本上可以工作，但我的问题是 CSV 没有按定义的顺序写回，而是像在异步过程中一样混合在一起。

我尝试了各种组合，有无Promise.all导致未决的承诺或混合的 CSV 文件。

这是我对 Node.js Promises 的第一次尝试，因此非常感谢有关如何正确执行此操作的每一个输入。提前谢谢了。

我用 fast-csv 编写了一个脚本，它可以在 amazon s3 中读取一个 excel 文件，然后获取数据并将其存储在 mySQL 中。我现在有一个 ec2 实例集并创建了一个名为“上传”的文件夹并将 CSV 文件存放在其中。我的问题是如何读取 ec2 实例中的文件而不是 s3 存储桶？下面是当前使用的脚本

我正在使用 fast-csv npm 库，我想在其中使用 writeToString 格式化函数 https://github.com/C2FO/fast-csv/blob/HEAD/docs/formatting.md#csv-write-to-string

当前我写喜欢

我想要这样的同步版本

我有什么办法可以做到这一点？我很好，任何其他 npm csv 库都可以支持这个

一般来说，我可能对流缺乏一些深入的了解。但是，我想知道我需要的工作效率如何。

我想实现以便读取 csv 文件，然后对每一行进行对数据库（或 api）的查询并附加数据。之后，带有附加数据的行被写入一个新的 csv 文件。我为此使用了 fast-csv 节点库。

这是我的实现：

特别是我想知道有没有办法优化我在这里所做的事情，因为我觉得我错过了一些关于如何将这个库用于这些类型的案例的重要内容

问候， 罗卡斯

我正在使用fast-csv节点包从 SQL 查询生成 CSV 文件。这是相关的代码。

上面的代码可以很好地生成 CSV 文件，但我没有将标题行添加到输出 csv 中。

问题：如何在 csv 输出文件中添加标题行？

我基本上是在尝试：

1. 使用 mongoose 向 MongoDB 查询流
2. 使用 fast-csv 转换流结果
3. 返回流响应

我怎样才能正确地做到这一点？

这是我的处理程序代码

是返回错误Cannot reply with stream in object mode

我正在使用fast-csv来读取我的 csv 文件，但它给了我这样的错误

UnhandledPromiseRejectionWarning: TypeError: csv.fromPath is not a function

这是我的代码：

问题：我正在尝试使用 Nodejs 流来使用fast-csv模块读取一个小的 CSV 文件（ 1 行） 。

当 'data' 事件被触发时，CSV 'rows' 被推送到一个数组（rows []）。当发出“end”时，数据在数据库中更新。但是，在填充 rows[] 数组之前会触发 'end' 事件。这会间歇性地发生，有时代码会按预期工作。

阅读 Nodejs 文档后，我的猜测是这是由于 CSV 文件的体积小。正在以“流动”模式读取数据，一旦读取第一行，就会触发“结束”，这似乎发生在记录被推送到所需的数组之前。

尝试使用“暂停”模式，但没有奏效。

我是 Nodejs 的新手，不知道如何使这个功能工作。任何帮助或指导将不胜感激。

代码：

我的目标：我需要从 FTP 中获取 N 个文件，解析它们，然后将解析后的数据发送到某个地方。我当前的实现工作正常，但是当我通过第一个文件时，它开始挂起。

我用于 csv 流/解析的包是 fast-csv。下面是我试图完成的一个例子。它只运行 1 次。我有一种感觉，这与流未正确结束或完成有关。我希望有人能给我一些关于我可以采取的方向的指示。如果您需要更多说明，请告诉我。