87

一个关于将 a 格式化double[][]为 CSV 格式的问题中,有人建议usingStringBuilder会比String.Join. 这是真的?

4

5 回答 5

126

简短的回答:这取决于。

长答案:如果您已经有一个字符串数组要连接在一起(带有分隔符),String.Join那么这是最快的方法。

String.Join可以查看所有字符串以计算出所需的确切长度,然后再次复制所有数据。这意味着将涉及额外的复制。唯一的缺点是它必须遍历字符串两次,这意味着可能会比必要的次数更多地破坏内存缓存。

如果您事先没有将字符串作为数组,则使用起来可能会更快StringBuilder-但在某些情况下它不是。如果使用一种StringBuilder方法进行大量复制,那么构建一个数组然后调用String.Join可能会更快。

编辑:这是对单个调用String.Join与对StringBuilder.Append. 在最初的问题中,我们有两个不同级别的String.Join调用,因此每个嵌套调用都会创建一个中间字符串。换句话说,它更复杂,更难猜测。我会惊讶地看到任何一种方式在典型数据中都显着(在复杂性方面)“获胜”。

编辑:当我在家时,我会写一个对StringBuilder. 基本上,如果你有一个数组,其中每个元素的大小大约是前一个元素的两倍,并且你得到它恰到好处,你应该能够为每个追加(元素,而不是分隔符,尽管需要也要考虑在内)。在这一点上,它几乎和简单的字符串连接一样糟糕——但String.Join不会有任何问题。

于 2009-02-25T13:00:58.280 回答
35

这是我的测试台,int[][]为简单起见;结果第一:

Join: 9420ms (chk: 210710000
OneBuilder: 9021ms (chk: 210710000

double结果更新:)

Join: 11635ms (chk: 210710000
OneBuilder: 11385ms (chk: 210710000

(更新重新 2048 * 64 * 150)

Join: 11620ms (chk: 206409600
OneBuilder: 11132ms (chk: 206409600

并启用 OptimizeForTesting:

Join: 11180ms (chk: 206409600
OneBuilder: 10784ms (chk: 206409600

速度如此之快,但规模不大;钻机(在控制台运行,在发布模式等):

using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.Text;

namespace ConsoleApplication2
{
    class Program
    {
        static void Collect()
        {
            GC.Collect(GC.MaxGeneration, GCCollectionMode.Forced);
            GC.WaitForPendingFinalizers();
            GC.Collect(GC.MaxGeneration, GCCollectionMode.Forced);
            GC.WaitForPendingFinalizers();
        }
        static void Main(string[] args)
        {
            const int ROWS = 500, COLS = 20, LOOPS = 2000;
            int[][] data = new int[ROWS][];
            Random rand = new Random(123456);
            for (int row = 0; row < ROWS; row++)
            {
                int[] cells = new int[COLS];
                for (int col = 0; col < COLS; col++)
                {
                    cells[col] = rand.Next();
                }
                data[row] = cells;
            }
            Collect();
            int chksum = 0;
            Stopwatch watch = Stopwatch.StartNew();
            for (int i = 0; i < LOOPS; i++)
            {
                chksum += Join(data).Length;
            }
            watch.Stop();
            Console.WriteLine("Join: {0}ms (chk: {1}", watch.ElapsedMilliseconds, chksum);

            Collect();
            chksum = 0;
            watch = Stopwatch.StartNew();
            for (int i = 0; i < LOOPS; i++)
            {
                chksum += OneBuilder(data).Length;
            }
            watch.Stop();
            Console.WriteLine("OneBuilder: {0}ms (chk: {1}", watch.ElapsedMilliseconds, chksum);

            Console.WriteLine("done");
            Console.ReadLine();
        }
        public static string Join(int[][] array)
        {
            return String.Join(Environment.NewLine,
                    Array.ConvertAll(array,
                      row => String.Join(",",
                        Array.ConvertAll(row, x => x.ToString()))));
        }
        public static string OneBuilder(IEnumerable<int[]> source)
        {
            StringBuilder sb = new StringBuilder();
            bool firstRow = true;
            foreach (var row in source)
            {
                if (firstRow)
                {
                    firstRow = false;
                }
                else
                {
                    sb.AppendLine();
                }
                if (row.Length > 0)
                {
                    sb.Append(row[0]);
                    for (int i = 1; i < row.Length; i++)
                    {
                        sb.Append(',').Append(row[i]);
                    }
                }
            }
            return sb.ToString();
        }
    }
}
于 2009-02-25T13:05:41.517 回答
22

我不这么认为。通过 Reflector 看,实现String.Join看起来非常优化。它还具有预先知道要创建的字符串的总大小的额外好处,因此它不需要任何重新分配。

我创建了两种测试方法来比较它们:

public static string TestStringJoin(double[][] array)
{
    return String.Join(Environment.NewLine,
        Array.ConvertAll(array,
            row => String.Join(",",
                       Array.ConvertAll(row, x => x.ToString()))));
}

public static string TestStringBuilder(double[][] source)
{
    // based on Marc Gravell's code

    StringBuilder sb = new StringBuilder();
    foreach (var row in source)
    {
        if (row.Length > 0)
        {
            sb.Append(row[0]);
            for (int i = 1; i < row.Length; i++)
            {
                sb.Append(',').Append(row[i]);
            }
        }
    }
    return sb.ToString();
}

我运行每个方法 50 次,传入一个 size 数组[2048][64]。我为两个数组做了这个;一个用零填充,另一个用随机值填充。我在我的机器上得到了以下结果(P4 3.0 GHz,单核,无 HT,从 CMD 运行 Release 模式):

// with zeros:
TestStringJoin    took 00:00:02.2755280
TestStringBuilder took 00:00:02.3536041

// with random values:
TestStringJoin    took 00:00:05.6412147
TestStringBuilder took 00:00:05.8394650

将数组的大小增加到[2048][512],同时将迭代次数减少到 10,得到以下结果:

// with zeros:
TestStringJoin    took 00:00:03.7146628
TestStringBuilder took 00:00:03.8886978

// with random values:
TestStringJoin    took 00:00:09.4991765
TestStringBuilder took 00:00:09.3033365

结果是可重复的(几乎;由不同的随机值引起的小波动)。显然String.Join大部分时间都快一点(尽管幅度很小)。

这是我用于测试的代码:

const int Iterations = 50;
const int Rows = 2048;
const int Cols = 64; // 512

static void Main()
{
    OptimizeForTesting(); // set process priority to RealTime

    // test 1: zeros
    double[][] array = new double[Rows][];
    for (int i = 0; i < array.Length; ++i)
        array[i] = new double[Cols];

    CompareMethods(array);

    // test 2: random values
    Random random = new Random();
    double[] template = new double[Cols];
    for (int i = 0; i < template.Length; ++i)
        template[i] = random.NextDouble();

    for (int i = 0; i < array.Length; ++i)
        array[i] = template;

    CompareMethods(array);
}

static void CompareMethods(double[][] array)
{
    Stopwatch stopwatch = Stopwatch.StartNew();
    for (int i = 0; i < Iterations; ++i)
        TestStringJoin(array);
    stopwatch.Stop();
    Console.WriteLine("TestStringJoin    took " + stopwatch.Elapsed);

    stopwatch.Reset(); stopwatch.Start();
    for (int i = 0; i < Iterations; ++i)
        TestStringBuilder(array);
    stopwatch.Stop();
    Console.WriteLine("TestStringBuilder took " + stopwatch.Elapsed);

}

static void OptimizeForTesting()
{
    Thread.CurrentThread.Priority = ThreadPriority.Highest;
    Process currentProcess = Process.GetCurrentProcess();
    currentProcess.PriorityClass = ProcessPriorityClass.RealTime;
    if (Environment.ProcessorCount > 1) {
        // use last core only
        currentProcess.ProcessorAffinity
            = new IntPtr(1 << (Environment.ProcessorCount - 1));
    }
}
于 2009-02-25T13:03:19.070 回答
14

除非 1% 的差异在整个程序运行所需的时间方面变得很重要,否则这看起来像是微优化。我会编写最易读/易于理解的代码,而不用担心 1% 的性能差异。

于 2009-02-25T13:18:24.510 回答
-3

是的。如果你做的连接超过几个,它会快很多。

当您执行 string.join 时,运行时必须:

  1. 为结果字符串分配内存
  2. 将第一个字符串的内容复制到输出字符串的开头
  3. 将第二个字符串的内容复制到输出字符串的末尾。

如果您进行两次连接,则必须将数据复制两次,依此类推。

StringBuilder 为一个缓冲区分配了空间,因此可以在不复制原始字符串的情况下追加数据。由于缓冲区中还有剩余空间,附加的字符串可以直接写入缓冲区。然后它只需要在最后复制整个字符串一次。

于 2009-02-25T12:53:27.753 回答