2

我们使用TeamCity使用Specflow+Specrun执行Selenium测试，问题是 TeamCity 计数重新执行的测试。

例如，如果某个测试第一次失败，他将被重新执行两次，在 teamcity 中我们会看到三个测试失败，但可能是一个测试。

另外，如果第一次重新执行失败，但其他两次成功，这将在teamcity中报告为两次失败，一次通过，但我需要报告只有一次测试通过。

可以使用服务消息或其他方式在 TeamCity 中进行配置吗？

更新：

根据答案，我们可以使用 powershell 脚本收集日志并使用 teamcity 服务消息更改构建状态：

$path = Get-ChildItem %teamcity.build.checkoutDir%\ProjectFolder\bin\Remote\TestResults\specrun.log
$file = Get-content $path
$total = $file | select-string "Total:"
$passed = $file | select-string "Succeeded:"
$failed = $file | select-string "Failed:"

write-host $( "##teamcity[buildStatus text='Tests {0}, {1}, {2}']" -f $total, $passed, $failed )
4

1 回答 1

1

TeamCity 的行为符合预期。TeamCity 报告了测试框架告诉他的内容。大致流程是：

  • 执行运行测试的步骤。
  • 收集输出日志。
  • 提取统计信息：执行、通过和失败的测试数量。
  • 如果配置为测试失败，则构建失败。

您必须配置您的测试框架（在您的情况下为 specflow+specrun）以更改它报告重新执行的方式。您应该配置 specflow 以不同的方式记录重新执行......如果可以的话。

一般来说，您应该避免重新执行测试。测试应该在第一次尝试时起作用。如果需要，他们应该准备状态，进行测试并清理状态。

重新执行的需要可能表明与其他测试存在某种依赖性。就像是：

  • 测试 001：搜索用户 Foo1。（失败）
  • 测试 002：添加用户 Foo1。（好的）
  • 重新执行测试 001：搜索用户 Foo1。（好的）

正确的做法是TEST001没有TEST002的依赖，添加用户Foo1，测试搜索并清理用户Foo1。

于 2016-05-09T15:35:58.643 回答