问题标签 [ordered-test]

我正在尝试使用webtest和 tfs build 2015 为网络服务器创建冒烟测试。我有一个使用数据源（n 行）运行 n 次的webtest 。我还有一个上下文参数，用于将测试配置到各种 Web url。我使用了一个orderedtest来包含webtest。我可以使用Visual Studio Test Task运行有序测试。不幸的是，我需要为每个 webtest 和 orderedtest 创建多个文件副本，因为我不知道如何将上下文参数传递给orderedtest/webtest。

我正在尝试开发一个自动回归测试框架作为单元测试。所以我使用有序测试来组合不同的测试步骤，并以一种易于使用的方式组合它们。出于配置目的，我想使用runsettings文件，尤其是 TestRunParameters。这在没有任何错误的情况下有效，但仅在单独执行每个测试时才有效。如果我使用orderedtest执行测试，则TestContext我用来访问 TestRunParameters 的对象不再包含它们。我在直接测试该方法以及使用有序测试对其进行测试时调试了该对象。在第一种情况下，对象具有所需的属性，但是当按顺序执行测试时，对象看起来完全不同。这两种执行方式之间是否存在重大差异？

不同的 TestContext 对象：

作为单个测试图片
执行 作为有序测试图片执行

我得到的错误如下：

我执行以测试和加载设置的代码如下：

错误出现在第 11 行，如下所示：

包含在 Visual Studio 的测试执行中的 runsettings 文件：

我有一些有序的测试和一些 UI 测试。然后我有一个包含其他有序测试的有序测试：

这个有序测试（其中包含许多其他有序测试）每天晚上在 TFS Build 中运行。如果某些 UI 测试失败，则失败测试的有序测试的名称会显示在 TFS 构建的测试结果中：

是否可以通过任何设置从测试结果中排除排序测试的名称？我想在测试结果中看到失败测试的名称。

在 VS2015 单元测试项目中，您可以右键单击该项目并添加有序测试。这使您可以在扩展名为 orderedtest 的文件中对单元测试进行排序。

我找不到与 MSTest.exe 一起使用的正确语法来运行这个有序测试文件。

出于某种原因，当我从;运行我的测试时，DeploymentEnabled没有考虑该标志。即，就像是一样，尽管我在文件中明确将其设置为。 orderedtestDirectoryPathDeploymentEnabledTrueFalse.runsettings

我的问题似乎与这个问题密切相关，尽管在那里没有找到解决方案。

我运行 VS Enterprise 2015。

有什么线索吗？

我正在使用 tfs 2017 运行 CodedUI 有序单元测试。这些是我的构建步骤： 这些是我的“运行功能测试”配置： 这些是“发布测试结果”（我不确定它们是否正确）：

部署了 TestAgent 并且测试运行良好，问题是测试结果只显示为一个结果，我看不到每个测试的详细结果。这是我的测试结果的样子（附件是我为每个测试拍摄的屏幕截图）：

我有一批可以启动许多有序测试。

在运行时执行期间，我需要获取正在运行的当前有序测试的名称。

我知道如何使用 TestContext 类获取当前正在运行的测试信息，但它只给我在有序测试中的测试，而不是有序测试本身。

那么，有没有办法获取当前有序的运行测试信息呢？

编辑：推动对这个问题的进一步研究，我注意到即使 StackTrace 也没有给出调用自己测试的有序测试的名称。

因此，通过“StackFrame(1).GetMethod().Name”，我得到了任何不是有序测试的父方法的名称。当父方法是有序测试时，我只得到一个通用名称“InvokeMethod”......

这么奇怪。

我有一个用于此应用程序的 UWP 应用程序和 codedui 测试用例项目，我将它们放在 Visual Studio 2017 的播放列表中，但播放列表没有按顺序运行测试用例，所以我在网上搜索，人们建议使用有序测试，但是当我尝试添加有序测试时我在 VS 中找不到这种文件类型，我应该添加什么作为插件，还是在 vs2017 中不支持？也是orderedtest我唯一的选择吗？

I get this error when trying to run some UI tests through a ordered UI test. The error always happens after the first test from the ordered UI test is completed. I double checked and the dll file the error complained about is present at the location mentioned in the error.The error does not happen on a debug test run.

Yesterday it would run just fine. I updated to visual studio 15.8.1 today an suspect this is causing my ordered test to fail, especially because I already found some similar questions about this for other versions of vs. The solutions posted in the answers didn't work for me.

3 questions:

• Can anyone confirm this is caused by the update to vs 15.8.1?
• Did you found a solution to this problem?
• Any possible other cause?

包含有序测试的项目将 .NET Framework 4.6.1 作为目标框架。有序测试是使用 vs2017 进行的。

我使用 TFS 版本 15.117.27414.0，其中我有一个构建和一个发布定义来将测试部署到我的测试环境中的机器上。包含我订购的测试的 UItest 项目由构建服务器上的构建代理构建。构建服务器使用 Visual Studio Enterprise 2017 版本 15.7.6。

发布定义只包含一个 Visual Studio 测试任务：

• 版本 2 被选中
• 使用路径指向我的 .orderedtest 文件的测试程序集。
• 测试组合包含 UI 测试被选中。
• 测试平台版本是vs 2017

运行此测试的测试代理安装在我的测试环境中的机器上，并配置为运行 UI 测试。

这些是发布发布后来自 TFS 的日志：

我在网上搜索了这个异常，但到目前为止没有找到任何有用的东西。我尝试使用该机器上的 vstest 控制台直接在测试机器上运行有序测试，但它给了我相同的结果。所以我认为我的构建和发布定义是好的。

更新：

我将目标 .net 框架更改为 .net 4.5，因为 vstest.console.exe 没有提到 .net 框架 4.6.1 作为目标框架的参数。这没有帮助。我发现我能够通过我的开发机器上的 vstest 控制台运行有序的测试，所以我正在考虑测试机器上缺少 DLL 的方向。请注意，测试机器上没有安装vs2017。