5

我有一个批处理文件，其中包含以下面类似形式定义的多个测试。

vstest.console.exe Test.dll /Settings:"test.runsettings" /Tests:"t1,t2,t3,t4,t5"

测试按从 t1 到 t5 的顺序运行。但是，如果任何一项测试失败，我想停止 vstest。这可以使用 vstest.console.exe 吗？

顺便说一句，我的 test.runsettings 的内容是

<?xml version="1.0" encoding="utf-8"?>
<RunSettings>
  <MSTest>
    <ForcedLegacyMode>true</ForcedLegacyMode> 
      <KeepExecutorAliveAfterLegacyRun>true</KeepExecutorAliveAfterLegacyRun> 
  </MSTest>
</RunSettings>

我已经检查了runsettings 的文档，这种情况似乎没有标志/属性。

4

3 回答 3

2

如果要运行的测试数量很少，例如在您的示例中，您可以将其拆分为多次运行 vstest.console.exe 并在批处理中检查 ERRORLEVEL。如果 ERRORLEVEL 不为 0，则表示测试失败，可以退出批处理。

vstest.console.exe Test.dll /Settings:"test.runsettings" /Tests:"t1"
IF ERRORLEVEL 1 GOTO exit
vstest.console.exe Test.dll /Settings:"test.runsettings" /Tests:"t2"
IF ERRORLEVEL 1 GOTO exit
...

:exit
于 2016-04-06T12:46:24.487 回答
1

如果它是您的选择，那么您可以引入基类进行清理、初始化方法和TestContext属性的测试。

在清理方法中，您将检查测试是否失败，然后通过触发Assert.Fail您TestInitialize不允许任何其他测试通过。

[TestClass]
public class BaseTest
{
    private static bool _failAllTests;
    public TestContext TestContext { get; set; }

    [TestInitialize]
    public void InitializeMethod()
    {
        if (_failAllTests)
        {
            Assert.Fail("Fail all tests");
        }
    }

    [TestCleanup]
    public void CleanUpMethod()
    {
        if (TestContext.CurrentTestOutcome == UnitTestOutcome.Failed)
        {
            _failAllTests = true;
        }
    }
}
[TestClass]
public class UnitTest1 : BaseTest
{
    [TestMethod]
    public void TestMethod1()
    {
        Assert.Fail("TestMethod1 failed!");
    }
    [TestMethod]
    public void TestMethod2()
    {
        Assert.IsTrue(true, "TestMethod2 passed!");
    }
}
于 2016-04-06T12:49:57.770 回答
0

除了 lukbl 的答案，您可以在整个程序集范围内执行相同的操作，因此如果您有多个测试类，您将在 vstest.console.exe 的运行时对测试进行全局管理（如果您正在调用它例如多次）。

应根据您使用 vstest.console（或 mstest）的方式小心谨慎。如果您在多个测试代理之间进行负载平衡，每个测试代理将运行它们自己的 vstest.console.exe，因此会有它们自己的程序集级值，因此会话管理将受到运行的测试组的限制同一个代理。假设这种方法可以让您管理使用命令运行的整个测试集：vstest.console.exe /filter:tests.dll

这意味着无论 session_failed 变量的范围（类范围或程序集范围）如何，如果您最终使用不同的 vstest.console.exe 调用从同一类运行不同的测试，您将失去变量值或控制权。

话虽如此，多类测试场景的简单方法：

[TestClass]
public static class TestSettings
{
    public static bool SessionTestsFailed = false;

    [AssemblyInitialize]
    public static void runsBeforeAnyTest(TestContext t)
    {
        TestSettings.SessionTestsFailed = false;
    }
}

[TestClass]
public class Tests1
{
    public TestContext TestContext { get; set; }

    [TestInitialize()]
    public void MyTestInitialize()
    {
        if (TestSettings.SessionTestsFailed)
            Assert.Fail("Session failed, test aborted");
    }

    [TestCleanup]
    public void MyTestFinalize()
    {
        if (TestContext.CurrentTestOutcome != UnitTestOutcome.Passed)
            TestSettings.SessionTestsFailed = true;
    }

    [TestMethod]
    public void test11()
    {
        Console.WriteLine("test11 ran");
        Assert.Fail("fail the test");
    }

    [TestMethod]
    public void test12()
    {
        Console.WriteLine("test12 ran");
        Assert.Fail("fail the test");
    }
}

[TestClass]
public class Tests2
{
    public TestContext TestContext { get; set; }

    [TestInitialize()]
    public void MyTestInitialize()
    {
        if (TestSettings.SessionTestsFailed)
            Assert.Fail("Session failed, test aborted");
    }

    [TestCleanup]
    public void MyTestFinalize()
    {
        if (TestContext.CurrentTestOutcome != UnitTestOutcome.Passed)
            TestSettings.SessionTestsFailed = true;
    }

    [TestMethod]
    public void test21()
    {
        Console.WriteLine("test21 ran");
        Assert.Fail("fail the test");
    }

    [TestMethod]
    public void test22()
    {
        Console.WriteLine("test22 ran");
        Assert.Fail("fail the test");
    }

这是一次更新所有测试初始化​​方法的简单方法，如果它们的签名相同，则使用正则表达式匹配，Visual Studio 全部替换：查找：

(\s*)public void MyTestInitialize\(\)(\s*)(\r*\n)(\s*){(\r*\n)

代替：

$1public void MyTestInitialize()$3$4{$1\tif (TestSettings.SessionTestsFailed) Assert.Fail("Session failed, test aborted");

和 TestFinalize() 类似。

于 2017-02-14T04:40:49.010 回答