好吧,我有一个类似的问题。我想像 Visual Studio 一样在最终测试结果中报告我的测试中的一些额外数据/报告/计数器,我找到了解决方案。
首先,这不能用你尝试的方式来完成。负载测试和存在 TestContext 的单元测试之间没有直接联系。
其次,您必须了解 Visual Studio 如何创建报告。它从操作系统的性能计数器收集数据。您可以编辑这些计数器,删除您不想要的计数器并添加您想要的其他计数器。
如何编辑计数器
负载测试配置有两个关于计数器的基本部分。这些是:
Counter Sets
。_ 这些是一组计数器,例如agent
默认添加的。如果您打开此计数器集,您会看到它收集了诸如内存、处理器、物理磁盘等计数器。因此,在测试结束时,您可以看到所有代理的所有这些数据。如果您想向该计数器集添加更多计数器,您可以双击它(从负载测试编辑器,见下图)并选择Add Counters
. 这将打开一个窗口,其中包含系统的所有计数器并选择您想要的那些。
Counter Set Mappings
。_ 在这里,您将计数器组与您的机器相关联。默认情况下[CONTROLLER MACHINE]
和[AGENT MACHINES]
添加一些默认计数器集。这意味着映射到的计数器集中包含的所有计数器都[CONTROLLER MACHINE]
将从您的控制器机器中收集。这同样适用于您的所有代理。
您可以添加更多计数器组和更多机器。通过右键单击Counter Set Mappings
-->Manage Counter Sets...
将打开一个新窗口,如下所示:
如您所见,我添加了一个额外的机器 name db_1
。这是机器的计算机名称,它必须与控制器在同一个域中才能访问它并收集计数器。我还将它标记为database server
并选择了sql
计数器集(sql 计数器的默认设置,但您可以对其进行编辑并添加您想要的任何计数器)。现在每次执行此负载测试时,控制器都会转到计算机名称为 db_1 的机器并收集数据,这些数据将在最终测试结果中报告。
现在是编码部分
好的,在这个(大的)介绍之后,是时候看看如何将你的数据添加到最终的测试结果中了。为此,您必须创建自己的自定义性能计数器。这意味着必须在您需要收集这些数据的机器中创建一个新的性能计数器类别。在您的情况下,在您的所有代理中,因为这是执行单元测试的地方。
在代理中创建计数器后,您可以编辑Agents
如上所示的计数器集并选择额外的自定义计数器。
这是有关如何执行此操作的示例代码。
首先为所有代理创建性能计数器。在每台代理机器上只运行一次此代码(或者您可以将其添加到负载测试插件中):
void CreateCounter()
{
if (PerformanceCounterCategory.Exists("MyCounters"))
{
PerformanceCounterCategory.Delete("MyCounters");
}
//Create the Counters collection and add your custom counters
CounterCreationDataCollection counters = new CounterCreationDataCollection();
// The name of the counter is Delay
counters.Add(new CounterCreationData("Delay", "Keeps the actual delay", PerformanceCounterType.AverageCount64));
// .... Add the rest counters
// Create the custom counter category
PerformanceCounterCategory.Create("MyCounters", "Custom Performance Counters", PerformanceCounterCategoryType.MultiInstance, counters);
}
这里是您的测试代码:
[TestClass]
public class UnitTest1
{
PerformanceCounter OverallDelay;
PerformanceCounter PerDelay;
[ClassInitialize]
public static void ClassInitialize(TestContext TestContext)
{
// Create the instances of the counters for the current test
// Initialize it here so it will created only once for this test class
OverallDelay= new PerformanceCounter("MyCounters", "Delay", "Overall", false));
PerDelay= new PerformanceCounter("MyCounters", "Delay", "Per", false));
// .... Add the rest counters instances
}
[ClassCleanup]
public void CleanUp()
{
// Reset the counters and remove the counter instances
OverallDelay.RawValue = 0;
OverallDelay.EndInit();
OverallDelay.RemoveInstance();
OverallDelay.Dispose();
PerDelay.RawValue = 0;
PerDelay.EndInit();
PerDelay.RemoveInstance();
PerDelay.Dispose();
}
[TestMethod]
public void TestMethod1()
{
// Use stopwatch to keep track of the the delay
Stopwatch overall = new Stopwatch();
Stopwatch per = new Stopwatch();
overall.Start();
for (int i = 0; i < 5; i++)
{
per.Start();
doAction();
per.Stop();
// Update the "Per" instance of the "Delay" counter for each doAction on every test
PerDelay.Incerement(per.ElapsedMilliseconds);
Sleep(1000);
per.Reset();
}
overall.Stop();
// Update the "Overall" instance of the "Delay" counter on every test
OverallDelay.Incerement(overall.ElapsedMilliseconds);
}
}
现在,当你的测试被执行时,他们会向计数器报告他们的数据。在负载测试结束时,您将能够看到每台代理机器中的计数器并将其添加到图表中。它将以 MIN、MAX 和 AVG 值报告。
结论
- 我认为(经过数月的研究)这是将测试中的自定义数据添加到最终负载测试报告中的唯一方法。
- 这样做似乎太难了。好吧,如果您理解这一点,那么优化它并不难。我将此功能包装在一个类中,以便更容易初始化、更新以及管理计数器。
- 这是非常非常有用的。我现在可以从我的测试中看到使用默认计数器无法实现的统计数据。像我们这样,当对 Web 服务的 Web 请求失败时,我可以捕获错误并更新相应的计数器(例如 Timeout、ServiceUnavailable、RequestRejected...)。
我希望我有所帮助。:)