testing - 什么是代码覆盖率，你如何衡量它？

Question

什么是代码覆盖率，你如何衡量它？

我被问到这个关于我们自动化测试代码覆盖率的问题。似乎在自动化工具之外，它更像是艺术而不是科学。是否有任何关于如何使用代码覆盖率的真实示例？

score 293 · Accepted Answer

代码覆盖率是对在运行自动化测试时执行了多少行/块/弧的代码的度量。

代码覆盖率是通过使用专门的工具来检测二进制文件以添加跟踪调用并针对检测的产品运行全套自动化测试来收集的。一个好的工具不仅可以为您提供已执行代码的百分比，还可以让您深入研究数据并准确查看在特定测试期间执行了哪些代码行。

我们的团队使用Magellan - 一套内部代码覆盖工具。如果您是 .NET 商店，Visual Studio 已集成工具来收集代码覆盖率。您还可以滚动一些自定义工具，如本文所述。

如果您是 C++ 商店，英特尔有一些可在 Windows 和 Linux 上运行的工具，尽管我没有使用过它们。我还听说有 GCC 的 gcov 工具，但我对此一无所知，无法给您链接。

至于我们如何使用它——代码覆盖率是我们每个里程碑的退出标准之一。我们实际上有三个代码覆盖率指标——单元测试覆盖率（来自开发团队）、场景测试（来自测试团队）和组合覆盖率。

顺便说一句，虽然代码覆盖率是衡量您正在进行多少测试的好指标，但它不一定是衡量您测试产品的好坏的好指标。您应该使用其他指标以及代码覆盖率来确保质量。

score 260 · Accepted Answer

代码覆盖率基本上告诉您有多少代码被测试覆盖。例如，如果你有 90% 的代码覆盖率，这意味着 10% 的代码没有被测试覆盖。

我知道你可能会想，如果覆盖了 90% 的代码，那就足够了，但你必须换个角度看。是什么阻止您获得 100% 的代码覆盖率？

一个很好的例子是：

if(customer.IsOldCustomer()) 
{
}
else 
{
}

现在，在上面的代码中，有两个路径/分支。如果您总是点击“YES”分支，则您没有覆盖“else”部分，它将显示在代码覆盖率结果中。这很好，因为现在您知道没有涵盖的内容，您可以编写一个测试来涵盖“其他”部分。如果没有代码覆盖，你就只是坐在定时炸弹上，等待爆炸。

NCover是衡量代码覆盖率的好工具。

score 73 · Accepted Answer

请记住，拥有“100% 代码覆盖率”并不意味着所有内容都经过了完全测试——虽然这意味着每一行代码都经过了测试，但这并不意味着它们在每种（常见）情况下都经过了测试。

我会使用代码覆盖来突出显示我可能应该为其编写测试的代码。例如，如果任何代码覆盖工具显示 myImportantFunction() 在运行我当前的单元测试时没有执行，它们可能应该得到改进。

基本上，100% 的代码覆盖率并不意味着您的代码是完美的。使用它作为编写更全面（单元）测试的指南。

score 62 · Accepted Answer

补充许多以前的答案的几点：

代码覆盖率意味着您的测试集覆盖源代码的程度。即测试用例集涵盖的源代码到什么程度。

如上面的答案所述，有各种覆盖标准，如路径、条件、函数、语句等。但要覆盖的其他标准是

条件覆盖：所有布尔表达式都被评估为真和假。
决策覆盖：不只是布尔表达式被评估一次真假，而是覆盖所有后续的 if-elseif-else 主体。
循环覆盖率：意思是，每个可能的循环是否被执行一次、多次和零次。此外，如果我们假设最大限制，那么，如果可行，测试最大限制时间，并且比最大限制时间多一倍。
进入和退出覆盖率：测试所有可能的调用及其返回值。
参数值覆盖率 (PVC)。检查是否测试了参数的所有可能值。例如，字符串通常可以是以下任何一种：a) null，b) 空，c) 空格（空格、制表符、换行符），d) 有效字符串，e) 无效字符串，f) 单字节字符串，g ) 双字节字符串。未能测试每个可能的参数值可能会留下错误。仅测试其中一个可能会导致 100% 的代码覆盖率，因为覆盖了每一行，但由于仅测试了七个选项中的一个，这意味着只有 14.2% 的参数值覆盖率。
继承覆盖：如果是面向对象的源，当返回基类引用的派生对象时，覆盖评估，如果返回兄弟对象，则应测试。

注意：静态代码分析会发现是否有任何无法访问的代码或挂起的代码，即未被任何其他函数调用覆盖的代码。以及其他静态覆盖。即使静态代码分析报告 100% 的代码被覆盖，如果所有可能的代码覆盖率都被测试过，它也不会给出关于你的测试集的报告。

score 17 · Accepted Answer

代码覆盖率在前面的答案中已经得到了很好的解释。所以这更像是对问题第二部分的回答。

我们使用了三种工具来确定代码覆盖率。

JTest - 基于 JUnit 构建的专有工具。（它也会生成单元测试。）
Cobertura - 一个开源代码覆盖工具，可以很容易地与 JUnit 测试结合以生成报告。
Emma - 另一个 - 我们用于与单元测试略有不同的目的。它已用于在最终用户访问 Web 应用程序时生成覆盖率报告。这与 Web 测试工具（例如：Canoo）相结合可以为您提供非常有用的覆盖率报告，告诉您在典型的最终用户使用期间覆盖了多少代码。

我们使用这些工具来

score 7 · Accepted Answer

代码覆盖率只是对被测试代码的度量。有多种覆盖率标准可以衡量，但通常是程序中的各种路径、条件、函数和语句构成了总覆盖率。代码覆盖率指标只是执行这些覆盖率标准的测试的百分比。

至于我如何跟踪项目的单元测试覆盖率，我使用静态代码分析工具来跟踪。

score 5 · Accepted Answer

对于 Perl，有我经常在我的模块上使用的优秀的Devel::Cover模块。

如果构建和安装由 Module::Build 管理，您可以简单地运行./Build testcover以获得一个漂亮的 HTML 站点，该站点告诉您每个子、行和条件的覆盖率，漂亮的颜色可以很容易地看到哪个代码路径没有被覆盖。

score 1 · Accepted Answer

在前面的答案中，代码覆盖率已经得到很好的解释。iOS如果您在平台上工作，我只是添加一些与工具相关的知识OSX，Xcode 提供了测试和监控代码覆盖率的工具。

参考链接：

两者都是学习和探索 Xcode 代码覆盖率的有用链接。

score 0 · Accepted Answer

对于 PHP，你应该看看 Sebastian Bergmann 的 Github

为 PHP 代码覆盖率信息提供收集、处理和呈现功能。

score 0 · Accepted Answer

代码覆盖率测试的目的是弄清楚有多少代码正在被测试。代码覆盖率工具生成一份报告，显示已运行了多少应用程序代码。代码覆盖率以百分比来衡量，越接近 100% 越好。这是一个白盒测试的例子。以下是一些用于代码覆盖测试的开源工具：

10 回答 10