4

介绍

我们正在尝试使用BenchmarksDotNet.

为了简单起见，这里是一个简单的例子TestClass：

public class TestClass 
{
    private readonly string _eventName;

    public TestClass(string eventName)
    {
        _eventName = eventName;
    }

    public void TestMethod() =>
        Console.Write($@"{_eventName} ");
}

我们正在通过以下 NUnit 测试实施基准测试netcoreapp2.0：

[TestFixture]
[MemoryDiagnoser]
public class TestBenchmarks
{
    [Test]
    public void RunTestBenchmarks() =>
        BenchmarkRunner.Run<TestBenchmarks>(new BenchmarksConfig());

    [Benchmark]
    public void TestBenchmark1() =>
        CreateTestClass("Test");

    private void CreateTestClass(string eventName)
    {
        var testClass = new TestClass(eventName);
        testClass.TestMethod();
    }
}

测试输出包含以下摘要：

         Method | Mean | Error | Allocated |
--------------- |-----:|------:|----------:|
 TestBenchmark1 |   NA |    NA |       0 B |

测试输出还包含所有Console.Write输出，这证明0 B这里意味着没有内存泄漏，而不是由于编译器优化而没有运行代码。

问题

当我们尝试TestClass使用TinyIoC容器解决时，混乱就开始了：

[TestFixture]
[MemoryDiagnoser]
public class TestBenchmarks
{
    private TinyIoCContainer _container;

    [GlobalSetup]
    public void SetUp() =>
        _container = TinyIoCContainer.Current;

    [Test]
    public void RunTestBenchmarks() =>
        BenchmarkRunner.Run<TestBenchmarks>(new BenchmarksConfig());

    [Benchmark]
    public void TestBenchmark1() => 
        ResolveTestClass("Test");

    private void ResolveTestClass(string eventName)
    {
        var testClass = _container.Resolve<TestClass>(
            NamedParameterOverloads.FromIDictionary(
                new Dictionary<string, object> {["eventName"] = eventName}));
        testClass.TestMethod();
    }
}

摘要表明 1.07 KB 被泄露。

         Method | Mean | Error | Allocated |
--------------- |-----:|------:|----------:|
 TestBenchmark1 |   NA |    NA |   1.07 KB |

AllocatedResolveTestClass值与来自 的调用次数成比例增加TestBenchmark1，总结为

[Benchmark]
public void TestBenchmark1() 
{
    ResolveTestClass("Test");
    ResolveTestClass("Test");
}

是

         Method | Mean | Error | Allocated |
--------------- |-----:|------:|----------:|
 TestBenchmark1 |   NA |    NA |   2.14 KB |

这表明要么TinyIoC保留对每个已解析对象的引用（根据源代码，这似乎不是真的），要么BenchmarksDotNet测量包括在标有[Benchmark]属性的方法之外的一些额外内存分配。

两种情况下使用的配置：

public class BenchmarksConfig : ManualConfig
{
    public BenchmarksConfig()
    {
        Add(JitOptimizationsValidator.DontFailOnError); 

        Add(DefaultConfig.Instance.GetLoggers().ToArray()); 
        Add(DefaultConfig.Instance.GetColumnProviders().ToArray()); 

        Add(Job.Default
            .WithLaunchCount(1)
            .WithTargetCount(1)
            .WithWarmupCount(1)
            .WithInvocationCount(16));

        Add(MemoryDiagnoser.Default);
    }
}

顺便说一句，用TinyIoC依赖Autofac注入框架替换并没有太大改变这种情况。

问题

这是否意味着所有 DI 框架都必须为已解析的对象实现某种缓存？这是否意味着BenchmarksDotNet在给定示例中以错误的方式使用？NUnit首先使用和的组合来寻找内存泄漏是个好主意BenchmarksDotNet吗？

4

1 回答 1

6

我是为 BenchmarkDotNet 实施 MemoryDiagnoser 的人，我很高兴回答这个问题。

但首先我要描述 MemoryDiagnoser 的工作原理。

  1. 它通过使用可用的 API 获取分配的内存数量。
  2. 它执行一次额外的基准测试迭代。在你的情况下，它是 16 ( .WithInvocationCount(16))
  3. 它通过使用可用的 API 获取分配的内存数量。

final result = (totalMemoryAfter - totalMemoryBefore) / invocationCount

结果有多准确？它与我们使用的可用 API 一样准确：GC.GetAllocatedBytesForCurrentThread()适用于 .NET Core 1.1+ 和AppDomain.MonitoringTotalAllocatedMemorySize.NET 4.6+。

GC分配量子定义了分配内存的大小。它通常是 8k 字节。

它的真正含义是什么：如果我们分配一个对象，new object()并且 GC 需要为其分配内存（当前段已满），它将分配 8k 的内存。并且两个 API 都将报告单个对象分配后分配的 8k 内存。

Console.WriteLine(AppDomain.MonitoringTotalAllocatedMemorySize);
GC.KeepAlive(new object());
Console.WriteLine(AppDomain.MonitoringTotalAllocatedMemorySize);

最终可能会报告：

x
x + 8000

BenchmarkDotNet 如何处理这个问题？我们执行了很多调用（通常是数百万或数十亿），因此尽量减少分配量子大小问题（对我们来说从来不是 8k）。

如何解决您的问题：将 设置WithInvocationCount为更大的数字（可能是 1000）。

要验证结果，您可能会考虑使用一些 Memory Profiler。我个人使用了 Visual Studio Memory Profiler，它是 Visual Studio 的一部分。

另一种选择是使用JetBrains.DotMemoryUnit。在您的情况下，它很可能是最好的工具。

于 2018-02-27T17:38:57.520 回答