什么是代码覆盖率,你如何衡量它?
我被问到这个关于我们自动化测试代码覆盖率的问题。似乎在自动化工具之外,它更像是艺术而不是科学。是否有任何关于如何使用代码覆盖率的真实示例?
什么是代码覆盖率,你如何衡量它?
我被问到这个关于我们自动化测试代码覆盖率的问题。似乎在自动化工具之外,它更像是艺术而不是科学。是否有任何关于如何使用代码覆盖率的真实示例?
代码覆盖率是对在运行自动化测试时执行了多少行/块/弧的代码的度量。
代码覆盖率是通过使用专门的工具来检测二进制文件以添加跟踪调用并针对检测的产品运行全套自动化测试来收集的。一个好的工具不仅可以为您提供已执行代码的百分比,还可以让您深入研究数据并准确查看在特定测试期间执行了哪些代码行。
我们的团队使用Magellan - 一套内部代码覆盖工具。如果您是 .NET 商店,Visual Studio 已集成工具来收集代码覆盖率。您还可以滚动一些自定义工具,如本文所述。
如果您是 C++ 商店,英特尔有一些可在 Windows 和 Linux 上运行的工具,尽管我没有使用过它们。我还听说有 GCC 的 gcov 工具,但我对此一无所知,无法给您链接。
至于我们如何使用它——代码覆盖率是我们每个里程碑的退出标准之一。我们实际上有三个代码覆盖率指标——单元测试覆盖率(来自开发团队)、场景测试(来自测试团队)和组合覆盖率。
顺便说一句,虽然代码覆盖率是衡量您正在进行多少测试的好指标,但它不一定是衡量您测试产品的好坏的好指标。您应该使用其他指标以及代码覆盖率来确保质量。
代码覆盖率基本上告诉您有多少代码被测试覆盖。例如,如果你有 90% 的代码覆盖率,这意味着 10% 的代码没有被测试覆盖。
我知道你可能会想,如果覆盖了 90% 的代码,那就足够了,但你必须换个角度看。是什么阻止您获得 100% 的代码覆盖率?
一个很好的例子是:
if(customer.IsOldCustomer())
{
}
else
{
}
现在,在上面的代码中,有两个路径/分支。如果您总是点击“YES”分支,则您没有覆盖“else”部分,它将显示在代码覆盖率结果中。这很好,因为现在您知道没有涵盖的内容,您可以编写一个测试来涵盖“其他”部分。如果没有代码覆盖,你就只是坐在定时炸弹上,等待爆炸。
NCover是衡量代码覆盖率的好工具。
请记住,拥有“100% 代码覆盖率”并不意味着所有内容都经过了完全测试——虽然这意味着每一行代码都经过了测试,但这并不意味着它们在每种(常见)情况下都经过了测试。
我会使用代码覆盖来突出显示我可能应该为其编写测试的代码。例如,如果任何代码覆盖工具显示 myImportantFunction() 在运行我当前的单元测试时没有执行,它们可能应该得到改进。
基本上,100% 的代码覆盖率并不意味着您的代码是完美的。使用它作为编写更全面(单元)测试的指南。
补充许多以前的答案的几点:
代码覆盖率意味着您的测试集覆盖源代码的程度。即测试用例集涵盖的源代码到什么程度。
如上面的答案所述,有各种覆盖标准,如路径、条件、函数、语句等。但要覆盖的其他标准是
注意:静态代码分析会发现是否有任何无法访问的代码或挂起的代码,即未被任何其他函数调用覆盖的代码。以及其他静态覆盖。即使静态代码分析报告 100% 的代码被覆盖,如果所有可能的代码覆盖率都被测试过,它也不会给出关于你的测试集的报告。
代码覆盖率在前面的答案中已经得到了很好的解释。所以这更像是对问题第二部分的回答。
我们使用了三种工具来确定代码覆盖率。
我们使用这些工具来
代码覆盖率只是对被测试代码的度量。有多种覆盖率标准可以衡量,但通常是程序中的各种路径、条件、函数和语句构成了总覆盖率。代码覆盖率指标只是执行这些覆盖率标准的测试的百分比。
至于我如何跟踪项目的单元测试覆盖率,我使用静态代码分析工具来跟踪。
对于 Perl,有我经常在我的模块上使用的优秀的Devel::Cover模块。
如果构建和安装由 Module::Build 管理,您可以简单地运行./Build testcover
以获得一个漂亮的 HTML 站点,该站点告诉您每个子、行和条件的覆盖率,漂亮的颜色可以很容易地看到哪个代码路径没有被覆盖。
在前面的答案中,代码覆盖率已经得到很好的解释。iOS
如果您在平台上工作,我只是添加一些与工具相关的知识OSX
,Xcode 提供了测试和监控代码覆盖率的工具。
参考链接:
https://medium.com/zendesk-engineering/code-coverage-and-xcode-6b2fb8756a51
两者都是学习和探索 Xcode 代码覆盖率的有用链接。
对于 PHP,你应该看看 Sebastian Bergmann 的 Github
为 PHP 代码覆盖率信息提供收集、处理和呈现功能。
代码覆盖率测试的目的是弄清楚有多少代码正在被测试。代码覆盖率工具生成一份报告,显示已运行了多少应用程序代码。代码覆盖率以百分比来衡量,越接近 100% 越好。这是一个白盒测试的例子。以下是一些用于代码覆盖测试的开源工具: