c# - .net 中多个特定大小的 csv 文件的大型数据表

Question

我有一个包含数百万条记录的大型数据表。我需要将其导出到多个特定大小的 CSV 文件中。例如，我选择文件大小为 5MB，当我说导出时，数据表将导出为 4 个 CSV 文件，每个文件大小为 5MB，最后一个文件大小可能会因剩余记录而异。我在这里经历了许多解决方案，还查看了 csvhelper 库，但是所有处理大文件的处理都被拆分为多个 CSV，但不是内存数据表根据指定的文件大小拆分为多个 CSV 文件。我想在 C# 中执行此操作。在这个方向上的任何帮助都会很棒。

谢谢杰

Answer 1

感谢@HGSandhagen 和@jdweng 的投入。目前我已经编写了以下代码来完成所需的工作。我知道这并不完美，如果我们可以按照 Nick.McDermaid 所指出的那样预先确定数据表项数组的长度，那么肯定可以进行一些增强并且可以提高效率。到目前为止，我将使用这段代码来解除对自己的封锁，并在我编码后发布最终的优化版本。

public void WriteToCsv(DataTable table, string path, int size)
        {
            int fileNumber = 0;
            StreamWriter sw = new StreamWriter(string.Format(path, fileNumber), false);
            //headers  
            for (int i = 0; i < table.Columns.Count; i++)
            {
                sw.Write(table.Columns[i]);
                if (i < table.Columns.Count - 1)
                {
                    sw.Write(",");
                }
            }
            sw.Write(sw.NewLine);

            foreach (DataRow row in table.AsEnumerable())
            {
                sw.WriteLine(string.Join(",", row.ItemArray.Select(x => x.ToString())));
                if (sw.BaseStream.Length > size) // Time to create new file!
                {
                    sw.Close();
                    sw.Dispose();
                    fileNumber ++;
                    sw = new StreamWriter(string.Format(path, fileNumber), false);
                }
            }

            sw.Close();
        }

Answer 2

我有一个类似的问题，这就是我用 CsvHelper 解决它的方法。

答案可以很容易地适应使用 DataTable 作为源。

public void SplitCsvTest()
{

  var inventoryRecords = new List<InventoryCsvItem>();

  for (int i = 0; i < 100000; i++)
  {
    inventoryRecords.Add(new InventoryCsvItem { ListPrice = i + 1, Quantity = i + 1 });
  }

  const decimal MAX_BYTES = 5 * 1024 * 1024; // 5 MB

  List<byte[]> parts = new List<byte[]>();

  using (var memoryStream = new MemoryStream())
  {
    using (var streamWriter = new StreamWriter(memoryStream))
    using (var csvWriter = new CsvWriter(streamWriter))
    {
      csvWriter.WriteHeader<InventoryCsvItem>();
      csvWriter.NextRecord();

      csvWriter.Flush();
      streamWriter.Flush();

      var headerSize = memoryStream.Length;
      foreach (var record in inventoryRecords)
      {

        csvWriter.WriteRecord(record);
        csvWriter.NextRecord();

        csvWriter.Flush();
        streamWriter.Flush();

        if (memoryStream.Length > (MAX_BYTES - headerSize))
        {
          parts.Add(memoryStream.ToArray());

          memoryStream.SetLength(0);
          memoryStream.Position = 0;

          csvWriter.WriteHeader<InventoryCsvItem>();
          csvWriter.NextRecord();
        }
      }

      if (memoryStream.Length > headerSize)
      {
        parts.Add(memoryStream.ToArray());
      }
    }


  }

  for(int i = 0; i < parts.Count; i++)
  {
    var part = parts[i];

    File.WriteAllBytes($"C:/Temp/Part {i + 1} of {parts.Count}.csv", part);
  }
}