问题标签 [regression-testing]

我正在编写一个科学计算代码（用 C++ 编写），除了对较小的组件执行单元测试之外，我还想通过与“已知良好”进行比较来对一些数值输出进行回归测试从以前的修订中回答。我想要一些功能：

• 允许将数字与指定的容差进行比较（对于舍入误差和更宽松的期望）
• 能够区分整数、双精度等，并在必要时忽略文本
• 格式正确的输出，告诉您哪里出了问题：在多列数据表中，仅显示不同的列条目
• 返回EXIT_SUCCESS或EXIT_FAILURE取决于文件是否匹配

是否有任何好的脚本或应用程序可以做到这一点，或者我是否必须在 Python 中编写自己的脚本或应用程序来读取和比较输出文件？当然，我不是第一个有这种要求的人。

[以下内容并不严格相关，但它可能会成为决定做什么的因素。我使用 CMake 及其嵌入式 CTest 功能来驱动使用 Google 测试框架的单元测试。add_custom_command我想在我的代码中添加一些语句CMakeLists.txt来调用我需要的任何回归软件应该不难。]

谁能解释一下 DST、Wanem 等不同的测试是什么。

我们有一套转换器，可以获取复杂的数据并对其进行转换。大多数情况下，输入是 EDI，输出是 XML，反之亦然，尽管还有其他格式。

数据中存在许多相互依赖关系。有哪些方法或软件可以生成这样的复杂输入数据？

现在我们使用两种方法：（1）我们多年来构建的一组示例文件，主要来自文档中的文件错误和示例，以及（2）生成伪随机测试数据。但是前者只涵盖了一小部分案例，而后者有很多妥协，只测试了一部分领域。

在进一步实施（重新发明？）复杂的表驱动数据生成器之前，您发现哪些选项是成功的？

我们正处于一个大型项目的初始阶段，并且已经决定某种形式的自动化 UI 测试可能对我们有用，但还没有弄清楚这将如何工作......

主要目标是自动化应用程序的基本安装和运行，因此如果开发人员导致重大故障（例如：应用程序无法安装、网络无法连接、窗口无法显示等）测试人员不必浪费时间（并为此烦恼）安装和配置损坏的构建

第二个目标是在处理重复性任务时帮助测试人员。

我的问题是：谁应该创建这些类型的测试？我们团队的隐含假设是测试人员会这样做，但我在网上看到的所有内容似乎总是暗示开发人员将创建它们，作为一种“扩展单元测试”。

一些想法：

• 开发人员似乎处于更好的位置，因为他们知道控件 ID、类等，并且对应用程序的工作方式有更好的了解

• 测试人员的优势是不知道应用程序是如何工作的，因此可以生成可能更有用的测试

• 我已经使用IronRuby和White编写了一些初始脚本。这工作得非常好，并且足够强大，可以做任何事情，但是你需要能够编写代码来编写 UI 测试

• 我们尝试过的所有自动化 UI 测试工具（TestComplete 等）似乎都非常复杂和脆弱，虽然测试人员可以使用它们，但它们花费的时间大约是 100 倍，而且它们经常遇到“意外复杂性”由 UI 测试工具引起。

• 我们的测试人员不会编码，虽然他们很聪明，但当我建议测试人员可以编写简单的 ruby​​ 脚本时，我得到的只是有趣的表情（尽管所说的脚本比那些乱七八糟的脚本要容易阅读和编写大约 100 倍）按钮和数据网格似乎是自动化 UI 测试工具的标准）。

我非常感谢在开发人员和测试人员组成的团队中尝试过 UI 自动化的其他人的任何反馈。谁做了什么，效果好吗？提前致谢！

编辑：有问题的应用程序是一个 C# WPF“富客户端”应用程序，它使用 WCF 连接到服务器

我们正在寻找允许我们测试 Web 应用程序功能的 QA 工具。目前，我们手动对所有工作/增强/缺陷进行 QA，但是我们有太多的 web 应用程序，很难对整个站点进行一些更改进行 QA。

我们希望有一个测试用例列表，每次我们将推动对开发的更改时都会运行这些测试用例，以至少在推动之前建立信心水平。

我确信这是我们 Web 开发社区的正常问题。

每个版本似乎我们的客户都会发现我们的软件存在一些老问题。它使每个版本看起来都有多个错误，而实际上我们的新代码通常是可靠的。

我们已经尝试实施一些额外的测试，我们让测试人员每月对单个应用程序进行数小时的每月回归测试，以保持领先于小问题。我们将此过程称为我们的软件强化过程，但似乎我们没有捕捉到足够多的错误，而且感觉就像一个非常落后的过程，因为总是有新的代码要编写。

这种测试有诀窍吗？我是否需要一次针对一项特定功能？

我被要求做以下事情：

a) 为 subversion 服务器构建一个 VM
b) 找出一个自动构建系统和回归测试系统
c) 编写文档或简单的说明来让人们开始使用 subversion

我不太确定这些说明是什么意思——尽管我有一个模糊的想法。如果你知道你能提供一些我应该谷歌的点和适当的术语。

为了避免过多的测试，我想向质量保证 (QA) 团队提供有关在开发迭代后必须对哪些功能进行回归测试的提示。您知道可以在 C++ 和 Subversion（以及 Visual Studio）开发环境中执行此操作的工具吗？

有关用例的详细信息：

1. 特性将由开发团队根据入口点来定义，通常是类或类方法。比如说，功能“excel 文件导入”是由 FileImporter 类的 ImportExcelFile(...) 方法定义的。
2. 在开发迭代过程中，开发团队对某些类的某些方法进行了一些更改。比如说，这些类之一被 ImportExcelFile() 方法间接使用
3. 在迭代结束时，该工具会分析所有提交，并生成一份报告并将其交付给 QA 团队。在我们的示例中，QA 团队被告知必须测试功能“excel 文件导入”，并且其他功能 XY 和 Z 不变。

这个工具很可能会使用静态代码分析并使用颠覆 API。但它存在吗？

我目前正在更新一个基于 Java 的 Web 应用程序，它允许数据库开发人员创建用于数据库测试的存储过程回归测试套件。

目前，对于测试设置、执行和清理阶段，为用户提供了文本框，他们可以在其中输入由 isql 命令执行的 SQL 代码。

我想扩展应用程序以使用 DB Unit 的 DatabaseOperation 方法来提供更多设置数据库状态的方法，而不仅仅是 SQL 语句。使用 Db Unit 而不仅仅是 SQL 语句的主要原因是能够在服务器上创建和存储 xml 和 xls 数据集，在那里它们可以与测试用例相关联并用于数据设置。

我的问题是：

如何从 Web 界面为用户提供 DBUnit DatabaseOperation 方法的功能？

我考虑过：

1. 创建一种简单的编程语言和一个解析器来读取一些涉及 DB 单元方法名称的简单语法，这些方法名称接受一个参数，即 xml 或 xls 数据集的文件位置。我正在考虑允许用户使用 Web 应用程序注册他们需要的文件，该应用程序将对它们进行编目并为每个文件提供一个标识符，该标识符可以作为参数传递给这种简单编程语言中的方法。

2. 创建一个 XML DTD，它为用户提供了指定操作和参数的能力。如果我采用这种方法，我如何执行从 XML 文档中解析的方法及其参数？

3. 在数据库中创建一个表，该表存储方法和与编目 DataSet 文件的 FK 关系，但是我认为这不是一个好的解决方案，因为数据输入会很乏味。

谢谢你的帮助。

我们正在使用 C 在 ARM 内核上构建系统（即嵌入式系统）。问题是：我们如何才能以正式的方式避免重入问题，以便我们确信所有重入错误都已消除。我猜这可能不是一个实际的愿望，但对于任何系统来说肯定很重要。

只是为了讨论，我想绘制 UML 图或拥有一个完整的状态机将是一个好的开始（但是在整个系统开发之后如何生成它呢？）。有关如何使用状态机/UML 图进行分析的任何建议？