10

我的一些单元测试有一个在循环中定义的睡眠。我不仅要分析测试的每次迭代,还要分析所有迭代的总时间,以显示任何非线性缩放。例如,如果我配置“整体”,它包括睡眠时间。我可以使用StopwatchStart/Stop 以便它只包含 doAction()。但是,我无法将 Stopwatch 结果写入 TestContext 结果。

[TestMethod]
    public void TestMethod1()
    {
        TestContext.BeginTimer("Overall");
        for (int i = 0; i < 5; i++)
        {
            TestContext.BeginTimer("Per");
            doAction();
            TestContext.EndTimer("Per");
            Sleep(1000);
        }
        TestContext.EndTimer("Overall");
    }

似乎 TestContext 可以继承并重新定义。但是,我没有看到任何关于如何将其写回事务存储的示例。

有没有我可以参考的实现,或者其他想法。我希望在 Visual Studio 为 LoadTest 呈现的同一份报告中看到它。否则我必须写我自己的报告。

此外,我尝试嗅探将这些写入 LoadTest 数据库的 SQL,但未能成功找出方法。应该有一个 SPROC 可以调用,但我认为这是测试结束时的所有数据。

4

3 回答 3

9

好吧,我有一个类似的问题。我想像 Visual Studio 一样在最终测试结果中报告我的测试中的一些额外数据/报告/计数器,我找到了解决方案。

首先,这不能用你尝试的方式来完成。负载测试和存在 TestContext 的单元测试之间没有直接联系。

其次,您必须了解 Visual Studio 如何创建报告。它从操作系统的性能计数器收集数据。您可以编辑这些计数器,删除您不想要的计数器并添加您想要的其他计数器。

如何编辑计数器

负载测试配置有两个关于计数器的基本部分。这些是:

  • Counter Sets。_ 这些是一组计数器,例如agent默认添加的。如果您打开此计数器集,您会看到它收集了诸如内存、处理器、物理磁盘等计数器。因此,在测试结束时,您可以看到所有代理的所有这些数据。如果您想向该计数器集添加更多计数器,您可以双击它(从负载测试编辑器,见下图)并选择Add Counters. 这将打开一个窗口,其中包含系统的所有计数器并选择您想要的那些。

  • Counter Set Mappings。_ 在这里,您将计数器组与您的机器相关联。默认情况下[CONTROLLER MACHINE][AGENT MACHINES]添加一些默认计数器集。这意味着映射到的计数器集中包含的所有计数器都[CONTROLLER MACHINE]将从您的控制器机器中收集。这同样适用于您的所有代理。

在此处输入图像描述

您可以添加更多计数器组和更多机器。通过右键单击Counter Set Mappings-->Manage Counter Sets...将打开一个新窗口,如下所示:

在此处输入图像描述

如您所见,我添加了一个额外的机器 name db_1。这是机器的计算机名称,它必须与控制器在同一个域中才能访问它并收集计数器。我还将它标记为database server并选择了sql计数器集(sql 计数器的默认设置,但您可以对其进行编辑并添加您想要的任何计数器)。现在每次执行此负载测试时,控制器都会转到计算机名称为 db_1 的机器并收集数据,这些数据将在最终测试结果中报告。


现在是编码部分

好的,在这个(大的)介绍之后,是时候看看如何将你的数据添加到最终的测试结果中了。为此,您必须创建自己的自定义性能计数器。这意味着必须在您需要收集这些数据的机器中创建一个新的性能计数器类别。在您的情况下,在您的所有代理中,因为这是执行单元测试的地方。

在代理中创建计数器后,您可以编辑Agents如上所示的计数器集并选择额外的自定义计数器。

这是有关如何执行此操作的示例代码。

首先为所有代理创建性能计数器。在每台代理机器上只运行一次此代码(或者您可以将其添加到负载测试插件中):

void CreateCounter() 
{
    if (PerformanceCounterCategory.Exists("MyCounters"))
    {
        PerformanceCounterCategory.Delete("MyCounters");
    }

    //Create the Counters collection and add your custom counters 
    CounterCreationDataCollection counters = new CounterCreationDataCollection();
    // The name of the counter is Delay
    counters.Add(new CounterCreationData("Delay", "Keeps the actual delay", PerformanceCounterType.AverageCount64));
    // .... Add the rest counters

    // Create the custom counter category
    PerformanceCounterCategory.Create("MyCounters", "Custom Performance Counters", PerformanceCounterCategoryType.MultiInstance, counters);
}

这里是您的测试代码:

[TestClass]
public class UnitTest1
{
    PerformanceCounter OverallDelay;
    PerformanceCounter PerDelay;

    [ClassInitialize]
    public static void ClassInitialize(TestContext TestContext)
    {
        // Create the instances of the counters for the current test
        // Initialize it here so it will created only once for this test class
        OverallDelay= new PerformanceCounter("MyCounters", "Delay", "Overall", false));
        PerDelay= new PerformanceCounter("MyCounters", "Delay", "Per", false));
        // .... Add the rest counters instances
    }

    [ClassCleanup]
    public void CleanUp()
    {
        // Reset the counters and remove the counter instances
        OverallDelay.RawValue = 0;
        OverallDelay.EndInit();
        OverallDelay.RemoveInstance();
        OverallDelay.Dispose();
        PerDelay.RawValue = 0;
        PerDelay.EndInit();
        PerDelay.RemoveInstance();
        PerDelay.Dispose();
    }

    [TestMethod]
    public void TestMethod1()
    {
         // Use stopwatch to keep track of the the delay
         Stopwatch overall = new Stopwatch();
         Stopwatch per = new Stopwatch();

         overall.Start();

         for (int i = 0; i < 5; i++)
         {
             per.Start();
             doAction();
             per.Stop();

             // Update the "Per" instance of the "Delay" counter for each doAction on every test
             PerDelay.Incerement(per.ElapsedMilliseconds);
             Sleep(1000);

             per.Reset();
         }

         overall.Stop();

         // Update the "Overall" instance of the "Delay" counter on every test
         OverallDelay.Incerement(overall.ElapsedMilliseconds);
     }
}

现在,当你的测试被执行时,他们会向计数器报告他们的数据。在负载测试结束时,您将能够看到每台代理机器中的计数器并将其添加到图表中。它将以 MIN、MAX 和 AVG 值报告。

结论

  1. 我认为(经过数月的研究)这是将测试中的自定义数据添加到最终负载测试报告中的唯一方法。
  2. 这样做似乎太难了。好吧,如果您理解这一点,那么优化它并不难。我将此功能包装在一个类中,以便更容易初始化、更新以及管理计数器。
  3. 这是非常非常有用的。我现在可以从我的测试中看到使用默认计数器无法实现的统计数据。像我们这样,当对 Web 服务的 Web 请求失败时,我可以捕获错误并更新相应的计数器(例如 Timeout、ServiceUnavailable、RequestRejected...)。

我希望我有所帮助。:)

于 2013-06-14T21:41:14.113 回答
0

我不知道如何将值添加到 TestContext 并因此通过该机制保存它。另一种方法可能是将计时结果以文本形式简单地写入跟踪、调试或控制台输出流,以便将其保存在测试运行的日志中。要查看这些输出,需​​要考虑活动运行设置的三个日志记录属性。他们的默认设置只保存前 200 次失败测试的日志。将已完成测试的保存日志频率设置为1应保存所有测试的日志,直到达到最大测试日志。这些步骤更详细地显示在:http: //blogs.msdn.com/b/billbar/archive/2009/06/09/vsts-2010-load-test-feature-saving-test-logs.aspx

这种方法的一个缺点是,通过单击结果窗口之一中的测试日志链接,在 Visual Studio 中一次只能看到一个日志文件。我一直在尝试找到一种从测试结果的 SQL 数据库中提取 Web 测试日志的方法,而不必在 Visual Studio 中单击每个日志的链接。我相信单元测试日志以相同的方式保存。我已经在https://stackoverflow.com/questions/16914487/how-do-i-extract-test-logs-from-visual-studios-load-test-results中描述了这个问题以及我迄今为止所管理的问题

更新。我相信在 Visual Studio 的负载测试环境中直接可用的 API 无法提供问题中所问的内容。可以为 Web 性能测试和单元测试编写数据和诊断适配器。通过使用这样的适配器代码可以记录来自应用程序或测试套件的数据,并将其记录在测试结果中。有几个关于编写数据和诊断适配器的 Microsoft 博客和 MSDN 页面。

于 2013-06-11T11:26:21.177 回答
0

最简单的方法是 OP 的原始方法,我似乎遇到了一些陷阱,其他的似乎也是如此。一个是由于某种原因 TestContext.BeginTimer(string); 并不总是存在的,看这个找证据,但貌似没有解决办法。但是还有另一个错误地创建和使用该属性的问题。

  1. 如果您没有要存储的属性TestContext并尝试使用TestContext.BeginTimer();,您将收到一条消息"Cannot Access Non-Static Method 'BeginTimer' in a static context"。有些人这样做的原因是因为大多数示例的 TestContext 属性为 `TestContext TestContext;' 有关示例使用它的原因,请参见 3。
  2. 如果你分配你的TestContext属性,ClassInitialize或者AssemblyInitialize你似乎得到了一些不太正确的东西,你会得到一个测试上下文的实例,在过去我对单元测试和编码 UI 测试没有问题,但是负载测试可以不处理这个。如果你这样做,你会看到一个错误"There is already an active timer with the name 'TimerName' passed to BeginTimer"

  3. 所以最终的解决方案,确保将您的 TestContext 设置为一个完整的属性,如果您这样做,该属性将由测试执行引擎为每个负载测试运行独立设置。这意味着您不必自己设置值。

因此,您需要以下内容:

 private TestContext m_testContext;

    public TestContext TestContext
    {
         get { return m_testContext; }
         set { m_testContext = value; }
    }

如果您在设置器上放置一个断点,您将看到在 Class Initialize 之后但在TestInitialize调用“TestContext setter”并从 分配值之前UnitTestExecuter.SetTestContext()。现在测试完全按照您尝试的方式进行

public void TestMethod1()
{
    TestContext.BeginTimer("Overall");
    for (int i = 0; i < 5; i++)
    {
        TestContext.BeginTimer("Per");
        doAction();
        TestContext.EndTimer("Per");
        Sleep(1000);
    }
    TestContext.EndTimer("Overall");
}

现在,当您查看负载测试结果时,您将在 Scenario > TestCaseName > Transactions > TimerName 下看到计时器输出

这是我的输出与我的计时器缓存、创建-、登录的样子

在此处输入图像描述

其中包含

  • 平均 响应时间
  • 平均 交易时间
  • 总交易
  • 交易/秒

所有这些都可以在图表上查看。

在 OP 的示例中,如果您使用 10 个用户运行负载测试,每个用户运行测试 1 次并且 DoWork 花费 0 秒,您会看到:

  • 共 10 次测试
  • “总体”的 10 个值,每个值 5 秒,
  • “Per”有 50 个值,每个值为 0 秒。

我认为这是预期的结果。

这些问题我花了几个小时才弄清楚,并经过一些测试来准确定位和验证,但最终这似乎是最简单和最好的解决方案。

附带说明,这是 TestContext 的正确实现,可以使数据驱动测试正常工作,因为每个测试都可以从上下文中获取正确的数据。

于 2016-11-03T21:03:35.687 回答