问题标签 [system-testing]

对于 C++，有很多好的单元测试框架，但是我找不到一个好的功能测试框架。对于功能测试，我的意思是接触磁盘的东西，需要整个应用程序就位等。

以防万一：什么框架有助于测试您的 I/O 是否有效？我有一个手动系统，它创建临时文件夹，复制一堆数据，所以测试总是在同一个环境中完成，但在我花更多时间在我的自定义框架上之前——有没有好的一个已经在那里了吗？

我正在寻找一种工具来设计、记录和监控产品的系统测试。

我需要的基础是： 1) 一个可以表示测试之间某种继承的工具（即，一个测试建立另一个或类似的测试）。

2) 一个允许我单独监控每个版本的特定测试运行的工具（即，对于产品的 1.1 版，我们从记录的所有测试中运行这些特定测试）。

3) 一种允许对测试进行某种形式的自由“标记”的工具（即，我可以将相同的测试分为几组：回归测试、功能测试、ui 测试……一个测试可以同时包含所有三个）。

4) 可选 - 该工具将允许我运行“自动测试”脚本（使用内部开发的自动化系统自动化，因此它必须允许很多方法与之相关）。

我发现可能有用的一个工具是：http ://trac-hacks.org/wiki/TestCaseManagementPlugin

它具有使用 Trac 的额外好处，我们开始将其用于错误跟踪/任务跟踪。如果有人可以推荐（或给出不使用它的充分理由），也将不胜感激。

谢谢

复制：

• 测试网站的跨浏览器/多版本支持

• 你如何测试可视化组件

我最近与一位同事讨论了我们在工作中用于系统测试 Web 应用程序的工具。然后同事提出了我们是否测试了应用程序的外观的问题。

有没有其他人这样做，如果是这样，如何测试它以确保物品不会被移出原位或物品的尺寸是否正确等？

我经常不得不与脆弱的遗留网站合作，这些网站在更新逻辑或配置时会以意想不到的方式中断。

我没有时间或了解创建Selenium脚本所需的系统。此外，我不想检查特定的用例——我想验证网站上的每个链接和页面。

我想创建一个自动化的系统测试，它将通过一个站点蜘蛛并检查断开的链接和崩溃。理想情况下，我可以使用一个工具来实现这一点。它应该具有尽可能多的以下功能，按优先级降序排列：

• 通过脚本触发
• 不需要人机交互
• 跟踪所有链接，包括锚标记以及指向 CSS 和 js 文件的链接
• 生成所有找到的 404、500 等的日志。
• 可以在本地部署以检查 Intranet 上的站点
• 支持基于 cookie/form 的身份验证
• 免费/开源

那里有许多部分解决方案，例如FitNesse、Firefox 的 LinkChecker和W3C 链接检查器，但它们都不能满足我的所有需求。

我想将此测试用于使用一系列技术和平台的项目，因此解决方案越便携越好。

我意识到这不能替代适当的系统测试，但是如果我有一种方便且可自动化的方法来验证网站的任何部分都没有明显损坏，那将非常有用。

我有一个使用 VS2008 Pro 创建的用 C# 编写的桌面应用程序，并使用 Nunit 框架和用于 VS2008 的 Testdriven.net 插件进行了单元测试。我需要对应用程序进行系统测试。

我之前使用 Bad Boy 和 Selenium 插件为 Firefox 完成了基于 Web 的系统测试，但我是 Visual Studio 和 C# 的新手。

如果有人可以分享他们对此的建议，我将不胜感激。

基于用例的测试与系统测试有何不同？

我们是否可以将系统测试视为基于用例的测试的子集，（即）系统测试仅考虑系统中组件或子系统的用例。

我想为我的应用程序进行集成测试和系统测试，但是生成良好的集成和系统测试通常需要付出很多努力，以至于我没有费心。我尝试了几次，编写了自定义的、特定于应用程序的测试工具，每次都感觉像是在重新发明轮子。我想知道这是否是错误的方法。是否有“标准”方法进行集成和完整系统测试？

编辑：澄清一下，它是用于桌面和 Web 应用程序的自动化测试。理想情况下是一个完整的测试套件，可以练习应用程序的全部功能。

我在 python 下寻找好的端到端测试框架，测试可以用 python 编写并以舒适的方式管理。我知道有很多单元测试框架，但我正在寻找更大的范围，比如支持报告的测试主管等，整个系统都在测试中。

我正在继续开发序列化层生成器。用户输入类型的描述（目前在 XSD 或 WSDL 中），软件以某种目标语言（目前是 Java 和 ansi C89）生成代码，该语言能够表示所描述的类型并且还能够序列化（变成一个字节序列）并反序列化这些值。

由于生成代码很棘手（我的意思是，编写代码很困难。编写编写代码的代码就是编写代码来做一件困难的事情，这是一个全新的硬度领域:)）。因此，在我的硕士论文之前的项目中，我们决定要进行一些系统测试。

这些系统测试知道一种类型和多对值和字节序列。为了以某种语言执行系统测试，该类型在系统中运行，产生如上所述的代码。然后，该代码与一些手写的主机代码链接，该代码能够读取这些字节序列和值对，并使用函数从字符串中读取给定值的值。然后运行生成的可执行文件，并将字节值对馈送到此可执行文件中，并全面检查所有此类绑定是否导致输出“Y”。如果是这种情况，那么这些类型的示例值将序列化为先前定义的字节序列，我们可以得出结论，生成的代码可以正确编译和运行，因此，总体而言，处理这种类型的系统部分是正确的。

但是，现在我对当前的实现有点不满意。目前，我已经编写了一个自定义的 junit 运行器，它使用了大量的反射魔法来从类属性中读取这些字节值绑定。此外，生成代码的整个堆栈需要大量样板代码和样板类，它们只包含两个或三个字符串。更糟糕的是，很难与所有基于 Junits 描述并生成测试失败报告的工具进行良好的集成。如果有用的 maven Junit 测试运行程序或 eclipse 测试运行程序吞噬了编译器抛出的任何错误，那么实际上很难调试正在发生的事情，只是因为这个错误的格式与 junit 自己的断言错误不同。

更糟糕的是，生成代码中的单个失败测试会导致 maven 构建失败。这很烦人。如果不同单元的某个测试失败，如果 maven 构建失败，我喜欢它，因为（例如），如果某个深度优先预购计算由于某种原因失败，一切都会变得混乱。但是，如果我只是想向某人展示一些我知道可以工作的类型的生成代码，那么如果我不能快速构建我的应用程序，因为我现在正在处理的类型还没有完成，那就太烦人了。

那么，在这种背景下，我怎样才能得到一个很好的自动化系统来检查这些生成规范呢？我考虑过的可能性：

• 一个 Junit 集成解决方案似乎不太理想，除非我可以改进 maven 和 junit 以及 junit 与我的跑步者和其他一切的集成。
• 我们之前使用了fitnesse，但总体上放弃了它，因为它带来的问题多于解决的问题。我们遇到的主要问题是集成到 maven 和 hudson。
• 使用 texttest 的解决方案。我并不完全相信，因为这主要需要一个可执行文件，将字符串放在标准输入上，将字符串放在标准输出上。添加整个“运行应用程序，与主机代码链接，然后运行生成的可执行文件”似乎有点复杂。
• 编写我自己的解决方案。这当然可以工作并做我想做的事。但是，像往常一样，这将是最耗时的任务。

所以......你有没有看到另一种可能的方法来做到这一点，同时避免自己写东西？

4 个主要操作系统版本：1.5、1.6、2.1 和 2.2（我想我们现在可以放心地忽略 1.0 和 2.0）

3 种屏幕密度：ldpi、mdpi、hdpi

3 种屏幕尺寸：小、正常、大

大量的系统测试场景。

有没有办法优化必须针对所有 Android 设备的应用程序的测试工作？覆盖大多数情况所需的最少模拟器数量是多少？

最近处理这个问题，我很想知道其他人是如何进行他们的 Android 系统测试的。