.net - 性能测试

Question

我们正在使用 VMWare 和 NUnit 开发自动化回归测试。我们已将测试划分为多个步骤，现在我希望查看每个步骤的性能回归。像 NUnit 那样简单地为测试计时似乎并不可靠。我计算了大约 15% 的接受系数，但我们的步骤有时可能会超过 35%。在这种依赖资源的测试环境中，是否有任何一致的测试性能的方法？“智能”计时系统是我唯一的选择吗？

Answer 1

对于这种性能测试，没有系统可以为您提供简单的通过/失败结果。在现实生活中，改变你的系统可能会让一些事情变得更快而另一些事情变得更慢，所以通常不是在“更好”和“不是更好”之间做出选择，而是在不同种类的更好之间做出选择。（当然，你想避免情况更糟的情况。）

我过去为此所做的只是随着时间的推移保持统计数据。每次运行测试时，将结果连同版本号和测试时间一起放到 SQL 数据库中。然后，您可以随时随地绘制它们（最好是在一个小的 Web 小程序中，以便团队中的每个人都可以查看它们），并查看您的绩效是上升还是下降，或者自特定修订以来绩效是否一直在下降。

不过，这里的关键是它需要是一个图表。这样人眼就可以看到它并找到趋势。你可以花一整周时间想出一个人工智能算法来对数据进行数字分析，但它永远不会超过人类的模式识别能力。

Answer 2

您可能会查看 Ants Profiler 等工具提供的功能，因为它确实提供了方法执行/运行时间，但我不确定它在重复测试方面提供了什么。

Answer 3

关于性能测试，我一直对使用 vmware 或其他虚拟化进程持怀疑态度。我们过去处理这个问题的方式是让部分构建在静态机器上安装最新版本并运行测试。您应该会在虚拟化之外看到更一致的结果。