问题标签 [continuous-testing]

我正在寻找一个 IntelliJ IDEA 插件，它可以在我每次更改代码时运行我的测试。我寻找这样的解决方案，我发现：

• Infinitest，它有效，但不方便，因为我需要向每个模块添加构面，并且它会为每个模块打开一个新的工具窗口（这对我来说意味着 15 个工具窗口）。
• Fireworks - 对我不起作用，也许它只是不适用于 IDEA 14（在其 repo中，我可以看到最后一次更改是在 2009 年进行的）。IntelliJ 还报告说它会引发异常。

有很多方法可以运行我的所有测试（包括为此编写一个简单的脚本），但我正在寻找一个足够聪明的工具，它可以首先重新运行失败的测试，并且可以理解模块依赖关系（所以在在某些模块中进行更改，它将仅运行依赖模块的测试）。

我更喜欢免费选项，但如果有东西以合理的价格支付，我也会接受。

在大型系统开发中，非功能性需求往往是最重要的，实现它们会占用大部分开发时间。非功能性测试成本高昂，运行时间往往很长。非功能性测试经常无法运行在正常的持续集成系统周期中，因为它们可能需要很长时间才能执行——稳定性测试可能需要两周时间。任何人都可以提出任何好的测试策略来实现在持续集成过程中手动执行非功能测试，其中采用自动化构建每 2 小时创建一次

假设我有一堆涵盖我的应用程序的单元测试、集成测试和 e2e 测试。让这些持续运行在 prod 上是否有意义，例如每 10 分钟？

我想不，这就是为什么：我的测试已经在每次产品部署后运行。如果他们通过并且在那之后没有代码更改，他们应该继续通过。因此，此后对其进行测试是没有意义的。

我真正想要持续测试的是我的基础设施——它还在运行吗？在这种情况下，每 10 分钟运行一次 API 集成测试以检查我的 API 是否仍在工作是有意义的。所以我正在处理我的测试套件的一个子集——那些测试我的基础设施可用性（集成+e2e）与仅测试单个代码（单元测试）的套件。因此，在实践中，与用于测试部署前/部署后的套件相比，我是否会有单独的测试套件来测试产品正常运行时间？

我们有一个大型项目，在测试套件中有数千个测试，完整的测试套件运行需要很长时间。

我正在寻找一种可以集成到 Maven 构建中的工具，该工具将只运行那些可能受到影响的测试（知道每个测试的代码覆盖率），因为一些覆盖的代码有变化。

我在谷歌上搜索，发现了一些类似的东西，但不是完美的：

• Ekstazi http://www.ekstazi.org/看起来完全一样，但它不能与 TestNG（在测试套件中使用）一起开箱即用，而且它不是开源的
• Infinitest https://infinitest.github.io/似乎主要关注 IDE 集成 - 是否可以仅按需运行测试（就像mvn infinitest）？
• PIT http://pitest.org/并不是我想要的，但它还需要分析每个测试的覆盖率

记住（最后）git commit 的测试覆盖率并针对最后的代码更改运行测试也非常有用。

欢迎对上述内容提出进一步的建议和意见。

我们有 12 个遗留项目。一个是 9 年前编程的旧 Visual Basic 应用程序，另一个是 C# (.NET) 应用程序、2 个 java 项目和 os on。

我们刚刚为每个项目清理并创建了一个存储库（其中一些只是位于不同计算机上的文件夹......）。

我们为 Jenkins 配置了许多有用的插件，买了两本书：持续集成和持续交付，还没有完全阅读。

我们为我们的项目定义了一个部署管道。提交到存储库后，所有内容都会自动编译，并且代码分析会自动完成（圈复杂度等）。

但是，我们想知道是否有可以用于我们的项目的测试（易于添加）。我们知道单元测试，但是，为这些项目编写单元测试会太耗时（如果可能的话）。

我们可以添加其他类型的测试或我们可以添加到管道中的其他有用的东西吗？

对于某些程序，我们会自动生成安装程序。

此外，在管道的最后，我们有一个手动步骤，将二进制文件（安装程序）移动到我们 apache 服务器上的公共文件夹中，公司中的人们可以轻松地获得最后一个稳定的二进制文件（这里的稳定是我们手动安装的应用程序和测试（我认为它被称为探索性测试），如果我们没有发现任何问题，我们将其作为稳定版本推广）。

我正在建立一个 CD 管道。我正在计划它的自动化测试部分。我打算做 UI、WebService、Security、Perf 测试。我对代码结构有疑问。所以我计划将测试与代码放在同一个仓库中，然后为核心测试框架提供单独的仓库，例如

回购产品

• 产品代码（项目）
• 集成测试（项目）
• 功能/e2e 测试（项目）
  • UI 测试（包）
  • WebSvc 测试（包）
  • 性能测试（包）
  • Sec.Tests（包）

回购测试核心

• UI 测试框架代码（项目）
• WebSvc 测试框架代码（项目）
• Perf 测试框架代码（项目）
• Sec 测试框架代码（项目）

有人看到这个结构有什么问题吗？还有其他想法吗？此外，我对集成测试与功能测试项目中的内容有点模糊（例如，WebSvc 测试可以是两者的一部分）。验收测试在哪里（功能或集成）？如果有人可以指出一些关于此的示例存储库或文章，那就太好了。

谢谢

我计划为遗留 Java EE 应用程序编写一些 UI 测试。有类似经验的人可以推荐一个工具吗？（我正在考虑继续使用 Selenium）。另外，您是否建议将这些测试作为 CD 管道的一部分（我担心的是因为它们通常有点脆弱）？（如果你们可以分享一些策略，例如部分与 CD 部分作为单独的每日回归，那就太好了）

谢谢

• 我在 elemetery freya (14.04) 中使用 jmeter
• 我有一个带有查看结果树的 jmeter 测试计划
• 我正在尝试在视图结果树中生成一个 csv 文件，包括活动线程数字段。

• 在我看来，详细信息已输入到 result.csv 文件中，但表示此属性的值没有字段名称，因此该详细信息不能用于我想从 result.csv 创建的图形中

• 我已经根据https://jmeter-plugins.org/wiki/PluginInstall/#Configure-JMeter更改了 JMETER-INSTALL-DIR/bin/jmeter.properties

• 如何获得具有合适字段名的 result.csv 文件，例如“active-threads”

当我正在实现一种自动化的方式来使用 selenium 测试我们的 web 应用程序时，我遇到了一些问题。

我正在使用selenese-runner执行我们的 Selenium 测试套件，这些套件是使用 Selenium IDE 创建的，作为 Jenkins 中的后期构建操作。

这工作得很好，因为当出现问题时构建会失败，如果所有测试都通过，构建就会成功。结果以 HTML 文件的形式存储在每个构建的基础上，由 selenese-runner 生成。

然而，我的问题是，我似乎无法找到一种方法，如何在相应的 jenkins 构建中显示这些结果。

有谁知道如何解决这个问题。或者也许我完全走错了路？

非常感谢您的帮助！

我maven用来运行我的 selenium 测试用例。我已经将整个代码带到我的digital ocean Ubuntu服务器上，我已经安装或配置了所有必要的插件chromedriver，如maven..etc。在运行命令mvn test时，我收到以下错误。

如果有任何其他方式在云上运行测试用例，请提出建议，如果我需要提供任何其他信息，请告诉我。我的浏览器调用代码：