我正在编写一个脚本,它运行一个返回约 500 万个结果的 MySQL 查询。我需要操纵这些数据:
- 格式化
- 编码
- 将某些部分转换为 JSON
- ETC
然后在尽可能短的时间内将其写入 CSV 文件。
由于node-mysql模块能够处理流,我认为这是我最好的路线。但是,我对编写自己的流来做到这一点还不够熟悉。
通过格式化功能将数据从 MySQL 流式传输到 CSV 的最佳方式是什么。
我们所处的位置是,我们不介意数据的输入顺序,只要它能够快速写入 CSV 文件即可。
我正在编写一个脚本,它运行一个返回约 500 万个结果的 MySQL 查询。我需要操纵这些数据:
然后在尽可能短的时间内将其写入 CSV 文件。
由于node-mysql模块能够处理流,我认为这是我最好的路线。但是,我对编写自己的流来做到这一点还不够熟悉。
通过格式化功能将数据从 MySQL 流式传输到 CSV 的最佳方式是什么。
我们所处的位置是,我们不介意数据的输入顺序,只要它能够快速写入 CSV 文件即可。
https://github.com/wdavidw/node-csv似乎可以满足您的需求。它可以获取流、写入流,并具有内置的转换器。