问题标签 [mutation-testing]

你有突变测试在现实生活中应用的例子吗？它比简单的测试覆盖工具更好用吗？还是没用？

现实世界中突变测试的优点/缺点是什么？

在另一个问题中，我问突变测试在实践中是否有用。由于我没有得到任何让我满意的答案，我想自己检查一下当前的工具。所以我需要一个关于当前现有突变测试框架的概述。其中哪个最有用，为什么？

• 我用 Java 编程，所以我更喜欢 Java 工具，但我会冒险看看不同语言的有趣框架。
• 我想集成到一个自动构建过程中，所以我更喜欢可以通过命令行执行的工具。

我目前正在使用测试/单元，并且正在考虑使用 rspec。但是，我注意到 rspec目前在 ruby​​ 1.9.1 中不支持 heckle，并且除了目标模块/类/方法之外，不支持将任何参数传递给 heckle。

使用 heckle 和 rspec 是否还有其他当前问题，或者除了这两个问题之外它们是否可以很好地协同工作？

另外，如果我暂时使用测试/单元，我应该考虑将它与黄瓜一起使用吗？

编辑：1.9.1 的问题不是 rspec 的错 - heckle 不能在ruby​​ 1.9.1上运行，因为 parsetree 不能在 ruby​​ 1.9.1 上运行。

突变测试遇到的一个问题是它很慢，因为默认情况下，您会为每个生成的突变执行完整的测试运行（测试文件或一组测试文件）。

使突变测试更快的一种方法是在遇到单个故障时停止对给定突变体的测试运行（但仅在突变测试期间）。更好的办法是让突变测试者记住第一个杀死最后一个突变体的测试是什么，然后把它首先交给下一个突变体。ruby 中有什么东西可以做这些事情，或者我最好的选择是开始猴子补丁？

（是的，我知道单元测试应该很快。并且显示所有失败的测试在突变测试之外很有用，因为它不仅可以帮助您识别出问题所在，还可以查明哪里出了问题）

编辑：我目前正在使用带有测试/单元的 heckle。如果测试/单元无法记住在运行之间哪些测试失败，也许 heckle 或运行 heckle 的东西可以记住它。

不久前，我进入了一个页面，该页面托管了几个 ruby​​ 工具，这些工具具有“疯狂”的名称，例如“mangler”或“executor”之类的。该工具的工作是修改您的生产代码（在运行时），以证明您的测试是精确的。

不幸的是，我现在想再次找到那个工具，但不记得它叫什么了。有任何想法吗？

从缺陷减少的角度来看，突变测试能否成功地用于改进 TDD？

在某些语言中实现突变测试是否比其他语言更难（或不可能）？例如，是否可以在函数式编程语言中实现突变测试？

突变测试已经存在一段时间了，似乎至少有一个或两个用于 C/C++ 的商业突变测试框架。你用过它们吗？你有什么经验？有没有开源替代品？

我们的项目将整合突变测试作为其构建周期的一部分。目前，我们正处于评估阶段。

到目前为止，我只发现 Jester 有一个 maven-plugin (Grester)。对于其他可用的突变测试工具（Jumble、µJava 和 Javalanche），我找不到任何东西。当然，我们想要完整的 Maven 集成。我们不想重新发明轮子（即，为我们选择的工具编写我们自己的 maven 插件）。

你知道那些 Jumble、µJava 和 Javalanche 的任何 maven 插件吗？我已经用谷歌搜索过了，就像我说的，只找到了 Grester。此外，如果您知道任何其他用于 java 的突变测试工具，任何提示将不胜感激。

突变测试有哪些不同的应用？