所以,首先,我想提一下自动化测试的目的。目的不是发现错误,而是捕捉回归。有时它确实有捕捉错误的好处,但总的来说,编写和维护自动化测试套件是一项相当多的工作。如果您只是为了寻找错误,那么手动测试要便宜得多。进行自动化测试的优势在于,您可以在进行重大更改时运行您的套件,并且更有信心您没有破坏世界。这种回归测试是为什么值得编写自动化测试的关键。
我将描述测试方法,然后是一般测试策略。我也只是解释一切,如果你已经知道我说的一半,请不要生气。
话虽这么说,有三个广泛的测试级别:
单元测试
单元测试是最小规模的测试。它测试单个函数和/或类。有许多库可用于单元测试,适用于各种不同的语言。python 的一个例子是 PyUnit。
您通常通过编写大量的小范围测试来完成单元测试。例如,如果您编写了自己的容器类(不太可能在 python 中,但它是一个简单的示例),您将有用于添加项目、删除项目、查找项目等的单元测试。
组件测试
组件测试将您的程序作为单独的组件进行测试。这通常是通过创建其他组件的模拟来完成的。它通常也通过使用单元测试库来完成,只是使用更大的测试。每个类可能有 10 或数百个单元测试(很大程度上取决于类的大小),但系统的每个组件都会有少量组件测试。
例如,您提到了一个数据库。您可以通过编写一个返回预设数据的模拟数据库并使用模拟测试与数据库接口的部分来进行组件测试。这比单元测试更难,因为可测试性开始成为设计中的一个问题。如果数据库被硬编码到您的程序中,您将如何模拟数据库。做起来还是比较容易的,只是需要一些深谋远虑和计划。
系统测试
系统测试是最难编写测试的,因为你必须有集成点来驱动你的系统。在个人项目中,您可能会跳过系统测试,特别是如果您已经完成了单元和组件测试的彻底工作。
系统测试涉及遍历整个系统的场景。难度大大增加,尤其是对于 UI 应用程序,因为您必须有一种方法来模拟用户输入。对于基于文本的系统,如编译器,您只需要生成文本,但对于 UI,您必须驱动输入或在输入回调中设置测试挂钩。没有一种适合所有解决方案的解决方案,就像单元测试一样。
测试建议
现实世界的测试与我进入该行业之前所认为的测试完全不同。当我在学校的时候,我把很多时间浪费在做一些我认为在“测试”时很有成效的事情上。话虽如此,这是我的建议:
- 对事物进行分桶,并将您的工作分散到各个桶中。查看各个方面,例如压力、性能、边界情况、常规输入、本地化、UI 以及您可以提出的任何其他方面。然后决定什么值得追求,什么不值得。本地化可能不会成为爱好项目的优先事项。
- 不要为了测试东西而测试东西。在决定编写测试之前,请确定它是否值得编写。例如,如果您发现如果您输入一个 500,000 个字符串作为输入,您的网站会崩溃,您会解决这个问题吗?我知道我不会,除非这是一个微不足道的修复。所以那个测试用例不值得写。
- 请务必将被测程序视为一段代码。很多人订阅了黑盒视图,你不应该假设任何关于实现细节的东西,但我认为那是徒劳的。编写对实现有意义的测试,对任何未来的实现也有意义。这又回到了自动化测试的目的,不是为了发现错误,而是为了在以后捕捉回归。
- 想想边境案件。如果您正在编写像我之前提到的容器类,您应该考虑空容器、最大尺寸的容器(或者如果有最大尺寸)、具有一个元素的容器等。应该对正常情况进行一些测试案件和一些边境案件。不过在这里要务实,请记住第 2 点。
进一步阅读: