c# - 用 C# 或其他程序转置 csv 文件

Question

我正在使用 C# 并将我的数据写入 csv 文件（以供进一步使用）。但是，我的文件已经变得很大，我必须转置它们。最简单的方法是什么。在任何程序中？

吉尔

Answer 1

按照复杂性的增加顺序（以及处理大文件的能力顺序增加）：

• 将整个内容读入二维数组（或锯齿状数组，即数组数组）。
  • 所需内存：等于文件大小

---

• 跟踪每行内的文件偏移量。首先查找每个（未引用的）换行符，将当前位置存储到List<Int64>. 然后遍历所有行，对于每一行：寻找保存的位置，将一个单元格复制到输出，保存新位置。重复直到用完列（所有行都到达换行符）。
  • 所需内存：每行 8 个字节
  • 分散在比磁盘缓存大得多的文件中的频繁文件搜索会导致磁盘抖动和糟糕的性能，但不会崩溃。

---

• 像上面一样，但在例如 8k 行的块上工作。这将创建一组文件，每个文件都有 8k 列。输入块和输出都适合磁盘缓存，因此不会发生抖动。构建条带文件后，遍历条带，从每个条带中读取一行并附加到输出。对所有行重复。这导致对每个文件进行顺序扫描，这也具有非常合理的缓存行为。
  • 所需内存：第一次通过 64k，第二次通过（列数/8k）文件描述符。
  • 对于每个维度多达数百万的表的良好性能。对于更大的数据集，只需将几个（例如 1k）条带文件组合在一起，形成较小的一组较大的条带，重复此操作，直到在一个文件中只有一个带有所有数据的条带。

---

Final comment: You might squeeze out more performance by using C++ (or any language with proper pointer support), memory-mapped files, and pointers instead of file offsets.

Answer 2

这真的取决于。你是从数据库中得到这些吗？您可以使用 MySql 导入语句。 http://dev.mysql.com/doc/refman/5.1/en/load-data.html

或者，您可以使用可以循环遍历数据，使用 streamwriter 对象将其添加到文件流中。

StreamWriter sw = new StreamWriter('pathtofile');
foreach(String[] value in lstValueList){
String something = value[1] + "," + value[2];
sw.WriteLine(something);
}

Answer 3

我在这里用 python 写了一个小的概念验证脚本。我承认它有问题，并且可能需要进行一些性能改进，但它会做到的。我对一个 40x40 的文件运行它并得到了想要的结果。我开始针对更像您的示例数据集的东西运行它，我等待的时间太长了。

path = mkdtemp()
try :
    with open('/home/user/big-csv', 'rb') as instream:
        reader = csv.reader(instream)        
        for i, row in enumerate(reader):
            for j, field in enumerate(row):                
                with open(join(path, 'new row {0:0>2}'.format(j)), 'ab') as new_row_stream:
                    contents = [ '{0},'.format(field) ]
                    new_row_stream.writelines(contents)
            print 'read row {0:0>2}'.format(i)
    with open('/home/user/transpose-csv', 'wb') as outstream:
        files = glob(join(path, '*'))
        files.sort()
        for filename in files:
            with open(filename, 'rb') as row_file:
                contents = row_file.readlines()          
                outstream.writelines(contents + [ '\n' ]) 
finally:
    print "done"
    rmtree(path)