问题标签 [system-testing]

我继承了测试提供数据的 API 的代码。客户以 SQL 代码的形式提供预期结果。测试代码有一个实用程序类，其中包含用于将 ADO.NET 对象与 API 中的对象进行比较的 VerifyResult 的各种重载。它似乎不是很 OOP，所以我正在考虑重构。

这是一些伪代码：

在测试实用程序类中：

我的第一个重构是使用 API 对象中的值来构造一个 API 对象（例如 Book），然后编写一个自定义相等断言。但是，我并没有走多远：因为 API 只提供数据，它的类的属性是只读的（内部集），所以我无法创建具有自定义值的 Book 对象（API 都是使用继承的具体类，没有接口）。有没有办法绕过这个限制？

如果您可以提出完全不同的方法，请随意！

假设 API 类如下所示：

是否可以继承这些 API 类型并使属性可写，同时允许将 API 的实例转换为新的子类型？

我对系统测试和验收测试之间的真正区别有点困惑。当我搜索这个主题时，答案不同，我看不出测试用例有什么不同。

我发现的事实：

系统测试是在整个系统上进行的，由供应商完成。系统测试是端到端测试，您可以根据需求规范（功能性和非功能性）测试系统中的完整流程（从登录到注销）。

验收测试由客户完成，以验证它是否满足客户的需求。这也是完整的流程，并且基于需求规范。然而，构建的系统是根据需求规范设计的，并且外观/可用性通常在开发周期的早期阶段已经被接受。如果系统涵盖了需求规范，客户应该不可能说“这不是我们想要的，重做这个和那个”，除非合同当然允许这样做并且客户按小时付费。

所以，我的问题基本上是，这两个测试阶段的测试用例会有什么不同？它们都是端到端测试，重点是它是一个功能系统，它满足规范，这在某种程度上也是业务需求（因为这是他们订购的）。似乎系统测试中的测试用例可以在验收测试中重用，因为它们都涵盖了完整的流程？

我有一个 PHP 项目要测试。我已经（几乎）完成了项目的编码，并且一开始我没有任何测试计划。作为 PHP 新手，我想我会完成编码并在之后开始测试。由于需要在进行过程中进行单元测试，我的其他测试替代方案是什么？我想要一个完整的系统测试，而不是一个单元一个单元。

我有大约 30 个 PHP 脚本文件，其中 5 个是类脚本。

注意它需要是一种正式的测试方式，而不是试图破解它。

我需要在 Windows 上运行 100 多个 perl 脚本（由前雇员编写）来进行系统稳定性测试。每个脚本都有几个函数，每个函数都会向我们的后端系统发送某些 linux 命令，并返回结果。结果写入日志文件（目前每个脚本都有一个日志文件）。结果是“成功”、“失败”。

一个接一个地运行这些 perl 脚本正在浪费我的时间。我正在考虑编写一个批处理文件来自动化它，但我必须解析结果文件以生成测试报告。我在网上搜索，似乎有几个测试框架，例如Test::Harness、Test::More、Test::Most是不错的选择。虽然根据我的理解，他们只接受 .t 文件，我们的脚本是普通的 perl 脚本（.pl），而不是标准的 perl 测试脚本（.t 脚本）。如果使用 Test::Harness，我应该将所有 perl 脚本从 .pl 更改为 .t，并将它们放在 t 文件夹下吗？如何在 Test::Harness 中调用我的函数？有人可以建议一种更好的方法来自动化测试过程并像 Test::Harness 那样生成测试报告吗？我认为一个例子会很有帮助。

我需要自动打开和关闭应用程序，能够操作和验证应用程序中的组件功能，并且能够修改 iOS 设置中的配置数据。我想我已经知道了这个问题的答案，但是有没有可以处理这些要求的测试工具呢？Squish 及其同类软件能否在 Android 操作系统上执行此操作？

通过对 stackoverflow 的快速搜索无法找到任何东西，所以这是我的问题。

我正在尝试为一个应用程序编写测试策略，其中两个应用程序每天相互同步以保持大量数据同步。

由于它的数据量很大，我真的不想交叉检查所有内容。但只想在每次发生数据同步时进行随机检查。这种系统的策略应该是什么？

我正在考虑这两种方法。1）获取所有数据的计数并交叉检查两者是否相同 2）随机选择 5 个数据条目并验证它们的属性是否同步。

任何建议都会很棒。

我正在寻找一个软件框架，它允许我创建一个灵活的系统测试解决方案，针对小型网络系统的自动化测试。一些要求是：

• 基于.net 更好（该公司是一个大的.net 用户，并且有可以用 c# 编写测试的人）

• UDP/TCP/HTTP/Websocket 支持

• 可与 SpiraTeam 或 MQC 等测试管理系统集成

• 不是在寻找 UNIT TEST，而是寻找涉及多个网络组件的系统测试，这些组件将相互交互

• 不是 gui 测试器，但允许 Squish 和|或 SeeTest 与框架集成

有什么建议么 ？

我nose用来运行一些系统测试，其中之一是测试（配置）文件是否存在。如果此文件存在，我想对其进行一些额外的测试。如果没有，我想跳过一堆测试。

nose如果主要测试通过，那么包含附加测试的最佳方法是什么？

我在 VS2012 中有一个 WCF 应用程序。我们还添加了一个用于进行单元测试的测试项目。这一切都很好

除此之外，我需要添加另一个测试项目来进行系统测试，这里的想法是 Web 服务将启动，并且测试项目将触发 Http Requests，作为对服务的端到端测试它所处的环境。

我不确定是否真的有一种方法可以使用内置的 Visual Studio 测试来做到这一点。如果我添加一个普通的测试类，运行web服务的网站就无法启动，测试失败。

我试图运行的代码是这样的：

我觉得我在这里遗漏了一些非常明显的东西。所以我的问题是：

1）我可以以这种方式测试我的 Web 服务吗 - 有什么方法可以设置项目属性，以便首先启动 Web 服务，然后运行测试项目

或者：
2）这种方法完全错误吗，我真正应该做的是将我的测试放入一个可执行文件中，我可以在我们部署到的任何环境中运行它作为快速的部署后冒烟测试。

我已经使用 nancy.testing 成功设置了一些针对我们的代码库运行完整用例的测试。

现在我想对我们所说的发布测试使用相同的测试：我们将完整的应用程序部署到临时服务器并针对它运行系统测试。我们已经在 WCF 应用程序中成功地使用了这种方法。

有没有简单的方法来完成这项工作？我注意到了这一点Browser并且BrowserResponse不使用任何抽象，所以我不能用 aSystemTestBrowser或类似的东西替换它们。

我当然可以抽象出整个 nancy.testing 包，但我想我先在这里问是否有人知道更简单的方法。