0

我创建了一个 Web 应用程序模块来将 CSV 文件导入数据库。导入过程后，用户将显示摘要，输入文件中的记录总数，导入到数据库的好记录总数和拒绝记录的总数。用户可以下载成功和错误记录进行验证。

问题是一些重复的记录被附加到成功和错误文件中。例如，用户收到如下消息：

总记录数：2099
好记录数：1694
跳过记录数：405
点击下载成功文件：Import_20121012184828_success.csv
点击下载错误文件：Import_20121012184828_errors.csv

当我们检查数据库时，表中的记录数正好是“1694”（与预期的好记录数相同。）。但在 Import_20121012184828_success.csv 文件中有 '1741' 记录。但是在 Eclipse 控制台中，它的打印结果与 db 中的相同，即在最后一次成功记录之后没有重复。所以一旦退出循环，当我调用 successCsvMapWriter.close(); 和 errorCsvMapWriter.close(); 一些从缓冲区的记录被添加的地方。我想不通。

注意：对于少量输入，我根本没有注意到任何问题。试用版本 1.52 和 2.0.0 beta。

以下是创建结果文件的代码：

File successFile = new File(csvFileDetails.getSuccessFileUrl());
File errorFile = new File(csvFileDetails.getErrorFileUrl());
// Create result files.
successFile.createNewFile();
errorFile.createNewFile();

String[] header = csvFileDetails.getHeader();
String[] errorFileHeader = ArrayUtils.add(header,
    CatalogImportConstanst.CSV_ERROR_HEADER);

// Also tried CsvPreference.STANDARD_PREFERENCE 
ICsvMapWriter successCsvMapWriter = new CsvMapWriter(new BufferedWriter(
    new FileWriter(successFile)), CsvPreference.EXCEL_PREFERENCE);
ICsvMapWriter errorCsvMapWriter = new CsvMapWriter(new BufferedWriter(
    new FileWriter(errorFile)), CsvPreference.EXCEL_PREFERENCE);

successCsvMapWriter.writeHeader(header);
successCsvMapWriter.flush();
errorCsvMapWriter.writeHeader(errorFileHeader);
errorCsvMapWriter.flush();

int errorCount = 0;
int successCount = 0;
for (Map<String, String> csvRecord : csvAsList) {
    if (csvRecord.get(CatalogImportConstanst.CSV_ERROR_HEADER) != null
        && csvRecord.get(CatalogImportConstanst.CSV_ERROR_HEADER).trim().length() > 0) {
        errorCsvMapWriter.write(csvRecord, errorFileHeader);
        errorCsvMapWriter.flush();
        errorCount++;
        System.out.println("Error record: "+ csvRecord);
    } else {
        successCsvMapWriter.write(csvRecord, header);
        successCsvMapWriter.flush();
        successCount++;
        System.out.println("Success record: "+ csvRecord);
    }
  }
successCsvMapWriter.close();
errorCsvMapWriter.close();

提前致谢。

4

1 回答 1

2

澄清一下，当您说您的成功文件有 1741 条记录时，您是在计算 CSV 记录还是文件中的行数？可能是您有嵌入换行符的记录，这意味着您不能简单地计算行数（即这实际上是重复还是您计数不正确？）。

而不是自己维护记录计数 - 您可以使用getRowNumber()，它返回写入的行数（包括标题）。如果你在方法结束时调用它，它会返回什么？

successCsvMapWriter.close();
errorCsvMapWriter.close();

System.out.println("Success records (including header): " +
    successCsvMapWriter.getRowNumber());
System.out.println("Error records (including header): " +
    errorCsvMapWriter.getRowNumber());

哦，您不需要所有这些flush()语句 - 当您调用close().

于 2012-10-13T00:37:33.450 回答