1

我有数百个 JSON 文件，我需要按定义的顺序处理这些文件，并以与 JSON 文件相同的顺序将内容写回为 CSV：

  1. 编写带有标题的 CSV 文件
  2. 收集要处理的 JSON 文件数组
  3. 读取文件并返回包含所需信息的数组
  4. 附加在 #1 下创建的 CSV 文件，其中包含信息
  5. 在第 3 步继续处理下一个 JSON 文件
'use strict';
const glob = require('glob');
const fs = require('fs');
const fastcsv = require('fast-csv');
const readFile = require('util').promisify(fs.readFile);

function writeHeader(fileName) {
  return new Promise((resolve, reject) => {
    fastcsv
      .writeToStream(fs.createWriteStream(fileName), [['id', 'aa', 'bb']], {headers: true})
      .on('error', (err) => reject(err))
      .on('finish', () => resolve(true));
  });
}

function buildFileList(globPattern) {
  return new Promise((resolve, reject) => {
    glob(globPattern, (err, files) => {
      if (err) {
        reject(err);
      } else {
        resolve(files);
      }
    });
  });
}

function readFromFile(file) {
  return new Promise((resolve, reject) => {
    readFile(file, 'utf8', (err, data) => {
      if (err) {
        reject(err);
      } else {
        const obj = JSON.parse(data);
        const key = Object.keys(obj['776'])[0];
        const solarValues = [];
        obj['776'][key].map((item, i) => solarValues.push([i, item[0], item[1][0][0]]));
        resolve(solarValues);
      }
    });
  });
}

function csvAppend(fileName, rows = []) {
  return new Promise((resolve, reject) => {
    const csvFile = fs.createWriteStream(fileName, {flags: 'a'});
    csvFile.write('\n');
    fastcsv
      .writeToStream(csvFile, rows, {headers: false})
      .on('error', (err) => reject(err))
      .on('finish', () => resolve(true));
  });
}

writeHeader('test.csv')
  .then(() => buildFileList('data/*.json'))
  .then(fileList => Promise.all(fileList.map(item => readFromFile(item))))
  .then(result => Promise.all(result.map(item => csvAppend('test.csv', item))))
  .catch(err => console.log(err.message));

JSON 示例：

https://gist.github.com/Sineos/a40718c13ad0834b4a0056091e3ac4ca

https://gist.github.com/Sineos/d626c3087074c23a073379ecef84a55c

问题

虽然代码基本上可以工作，但我的问题是 CSV 没有按定义的顺序写回，而是像在异步过程中一样混合在一起。

我尝试了各种组合，有无Promise.all导致未决的承诺或混合的 CSV 文件。

这是我对 Node.js Promises 的第一次尝试，因此非常感谢有关如何正确执行此操作的每一个输入。提前谢谢了。

4

1 回答 1

0

此代码应按顺序处理您的文件，我们将使用 async/await 和 for .. of 依次循环：

async function processJsonFiles() {
    try {
        await writeHeader('test.csv');
        let fileList = await buildFileList('data/*.json');
        for(let file of fileList) {
            let rows = await readFromFile(file);
            await csvAppend('test.csv', rows);
        }
    } catch (err) {
        console.error(err.message);
    }
}

processJsonFiles();
于 2019-09-19T09:17:45.013 回答