performance - 如何加速 Azure 存储队列

Question

我已经尝试了我能想到的一切来提高插入速度。这实际上只是几件事没有改善。

我有大量的标识符（Int64），我需要将它们发送到队列，以便我的多个工作角色可以处理它而不必担心并发性。

我尝试了一个foreach循环（使用.ToString()和BitConverter.GetBytes()）：

foreach(long id in ids) {
    queue.AddMessage(new CloudQueueMessage(id.ToString() /*BitConverter.GetBytes(id)*/));
}

和一个并行.ForAll<T>()：

ids.AsParallel().ForAll(id => queue.AddMessage(new CloudMessage(id.ToString())));

来自同一数据中心内的本地和 WorkerRole 的插入最多每秒 5 次，平均每秒 4.73 次。

难道我做错了什么？

Answer 1

尝试在 tcp 堆栈上禁用 Nagle，因为这会缓冲小数据包，从而导致发送内容的延迟超过 1/2 秒。把它放在你的角色开始代码中：

ServicePointManager.UseNagleAlgorithm = false; 

Answer 2

我使用不同的方法从公司网络中的笔记本电脑每秒发送 1500 条消息，并在与存储帐户位于同一位置的 VM 上达到 2000 条消息的限制。

我使用了一个异步并行分区器，并结合了一些默认连接限制和分区计数的调整。

ServicePointManager.DefaultConnectionLimit = 1000;

public static async Task SendMessagesAsync(CloudQueue queue, IEnumerable<string> messages)
{
    await Task.WhenAll(
            from partition in Partitioner.Create(messages).GetPartitions(500)
            select Task.Run(async delegate
            {
                using (partition)
                    while (partition.MoveNext())
                        await queue.AddMessageAsync(new CloudQueueMessage(partition.Current));
            }));
}

Nagle 打开或关闭对性能没有影响。