问题标签 [continuous-testing]

我们有我们的 Web 应用程序，我们在 Visual Studio 的代码签入时为它创建了一个自动构建，在发布定义中，我们将它部署到远程 iis 服务器。它已成功部署。现在，我们编写了 UI 测试用例来运行以测试托管应用程序。谁能帮我看看我们如何使用 VSO CD 运行基于 UI 的功能测试用例。

在发布定义中，我们添加了“Visual Studio 测试代理部署”但出现错误

无效的 URI：无法解析主机名。

我刚刚开始了使用 C# 学习 TDD 的旅程，为了帮助我，我开始使用 Reshaper 2017.1.3 继续测试工具来重新运行我在保存时受我的修改影响的所有测试。我希望这将是一种无缝体验，不会中断开发，但是每次需要重新编译项目时，光标都会从编辑器中被盗并放在输出窗格中，这会导致开发停止。

有没有办法阻止这种行为而不必牺牲继续测试工具的说服力？

我不仅需要在持续测试期间执行自动化测试脚本，而且还需要通过 UI 执行自动化测试脚本。这就是我所拥有的：

• 不同语言（ruby 和 JS）的自动化测试脚本。
• 执行这些脚本的 API。
• 与 API 通信的非常糟糕的定制 UI。

我需要一个可以将 HTTP Post 请求发送到任何内部 API 的测试用例管理器。但是，我一直找不到。当我寻找工具时，我需要进入文档并对其进行测试以了解它们的功能。到目前为止，HipTest 很有希望，但它只接受 HTTP Post 和 Get 请求，因为如果它没有与 Jenkins 集成，它就无法从 UI 发送任何内容。我即将测试一些 Jira 插件，但这需要时间，而且它可能没有我需要的东西（我还不知道，我必须完全测试它）。由于整个调查需要时间，我想知道是否有人需要一个测试用例管理器来向任何 API 发送 HTTP 发布请求，或者你是否认为我自己做更好（所以我可以使用报告工具，例如 Allure）。至于其他能力，

当我使用“Run as Junit Tests”运行黄瓜测试时，测试使用适当的标签正常运行。

同样，当我使用“ Maven”运行黄瓜测试时，测试使用适当的标签可以正常运行，前提是我在 runner 类中提到了标签。

@Cucumber.Options(format={"pretty", html:target/cucumber","json:target/cucumber.json"},tags= {"@smokeTest"})

但是我希望能够将标签作为参数提供给 mvn test 命令，以运行测试用例，并且我正在使用以下命令。

但无论我的标签如何，它都会运行所有测试用例。

同样，当我使用命令时mvn test -Dcucumber.options="--tags @tagTest" ，我在跑步者类中没有提到任何标签

请让我知道我哪里出错了？

这是 runnerTest 代码：

随附的

pom.xml

我正在尝试在 .yml 中编写一个 taurus 测试，其中将包括多个场景（如 ping 主机请求、更改机器上的主机名、安装 java 等）。每个场景都有一个 API 调用请求，带有 url、POST 方法和正文。

问题1：

每个场景都应该在一个单独的文件中开发，并且应该这样调用测试：“bzt scenario_1.yml scenario_2.yml,...”。

有没有像 include_scenario、import 这样的解决方案？

例如在 Ansible 中有 include_tasks，所以我可以调用其他 .yml 脚本，一切都很好。

问题2：

如何为 body 创建某种循环，以便我的 API 请求将为每个分发使用不同的参数。因为我正在尝试编写一个具有高并发性的测试，例如 ping、更改主机名并为 Ubuntu、Debian、Centos 安装 Java。

当前代码示例：

谢谢你。

我有一个使用库 Z3 求解器的项目，并且想应用 Travis-CI 进行连续测试。但是，我无法在 Travis-CI 中的远程机器上设置 z3。

以下是有关我的项目的更多信息：

• 从 IDE Eclipse Mars 创建
• 使用 JDK 8
• 使用 Ant 构建build.xml

内容文件.travis.yml

远程机器控制台上的输出

我知道可以通过将包含 Z3 求解器的存储库添加到.travis.yml（before_install部分）来解决该问题。我找到了一个存储库：https ://launchpad.net/~hvr/+archive/ubuntu/z3 。但是，此存储库不再起作用。更清楚的是，在 10 分钟后（Travis-CI 机器上的默认等待时间），此存储库没有响应。

我是测试自动化工程师，我已经开发了我的自动化代码存储库来测试产品的功能方面。当任何开发人员在 beta 环境中推送功能或错误时，我希望此代码运行。

我已经在自动化存储库上构建了管道，并且我将 docker 映像用于 selenium，并将 maven 用于相同。当我在存储库管道触发器上推送任何更改时，但我希望从不同的存储库中发生同样的事情。

我能想到的一种解决方案是从开发人员的管道通过 REST API（管道启动）触发自动化管道。但这不是一个完整的证明解决方案，因为自动化管道映像在开发人员进行更改后不会更新。

简而言之：我们在一个 repo 中编写了自动化测试，开发代码在一个 repo 中运行。作为 CI/CD/CT 的一部分，我希望所有这些东西都能自动运行，并且我们每次都能获得无错误的构建。

在该项目中，我们使用了一些 AWS 服务，例如 AWS Lambda、EC2、AWS API Gateway、ElastiCache 等。此外，我们还有 CloudFormation 模板来描述我们的整个基础设施。随着项目的开发，我们开始使用一些新的 AWS 服务或更改一些已经使用的配置。此外，我们应该使我们的 CloudFormation 模板保持最新。

在这里，我们面临的问题是，我们需要确保我们的 CloudFormation 模板有效、正确，并且如果需要，我们可以使用它来创建基础设施。在这种情况下，我们需要对模板进行持续测试。哪种方法更适合这种情况？

我们是否应该配置从 CloudFormation 模板自动创建堆栈作为持续集成过程的一部分并跟踪存储库中的模板更改？还是有更好的解决方案？

我问这个只是为了看看是否可以使用用户凭证令牌运行 specflow 测试来访问 tfs(TestCase) 数据。

背景： 我们有 CI/CD 管道来运行超过 19K 的 Specflow 测试，使用 specsync 同步到 TFS。我们的大多数测试都是使用Scenario Outline进行数据驱动的。在我们的发布管理管道中，我们设置了要在多台测试机器上执行的测试运行。但是我们需要将用户凭据缓存到每台机器中的 tfs 集合/项目，以便让测试获取测试数据。

问题： 很多时候，我们的测试失败，输出如下：

• 单元测试适配器连接数据源或读取数据失败。有关解决此错误的详细信息，请参阅 MSDN 库中的“数据驱动单元测试故障排除”( http://go.microsoft.com/fwlink/?LinkId=62412 )。错误详细信息：找不到请求的 .Net Framework 数据提供程序。它可能没有安装。*

失败是因为 tfs 访问凭据不再有效，例如密码已更改或用户不再有效等原因。因此，我们需要连接到每台机器（超过 10 台）并重置 tfs 访问凭据。

要求： 有没有办法将 tfs 标记化凭据嵌入到 specflow 测试（功能文件）或配置文件中，以便数据源访问对于测试运行是透明的？

BR

我在 pom.xml 中配置 chrome-driver 和 npm install selenium-side-runner 并在 gitlab 中运行 ci/cd 管道。我仍然收到“未找到错误”