vstest - vstest.console.exe 随机错过一些测试

Question

我正在设置要在构建服务器（Jenkins）上执行的单元测试。

我注意到有时 vstest 决定忽略我的一些测试。它们不会被跳过或失败。他们只是被忽略了，就好像他们一开始就不在那里一样。我再次运行测试版本，没有任何更改，问题就消失了。

• 控制台日志中似乎没有 vstest 崩溃。看起来测试运行已正常完成，只是总测试数错误。
• 我用反编译器检查了测试程序集，所有的测试方法都在那里。
• TRX 输出文件看起来完整且有效。

在下面的趋势图中，红色为失败，蓝色为通过。注意到#78 的下降了吗？这就是我在 13 个测试中缺少 3 个的地方：

以下是两个连续构建的 vstest 摘要，两者之间没有变化：

＃78： Total tests: 10. Passed: 6. Failed: 4. Skipped: 0.

＃79： Total tests: 13. Passed: 9. Failed: 4. Skipped: 0.

有没有人遇到过这样的事情？在我深陷其中之前，我是否应该考虑放弃 vstest 以支持更可靠的测试框架？

Answer 1

对不起这个错误。这是 VS 2015 中的回归。我在 1 月份修复了这个错误，修复将包含在 VS 2015 Update 2 中。（我是 Microsoft 的软件工程师。）测试实际上是运行的，但结果是异步发回的有时我们在所有结果发送回测试引擎进程之前关闭了测试主机进程。