问题标签 [acceptance-testing]

我们有一个程序，我们想对其进行验收测试。
输入是具有不同“任务”的 XML 文件。
输出是另一个带有结果的 XML 文件。

自动化验收测试的最佳实践是什么？
我们可能必须存储成对的输入和输出文件，在输入上运行程序并将结果与​​提供的输出进行比较。
Ant 适合这项任务吗？
验收测试是否应涵盖所有极端情况，或者仅测试功能是否正常工作。
任何其他有关 Java 验收测试的提示将不胜感激。

集成/功能/验收测试天生就很难维护，原因有很多：它们需要很长时间才能运行，很难始终保持绿色，可能会看似随机失败，调试起来很麻烦等等。但是，它们可以是无价的，如果一个人设法拥有一个可靠的非单元测试套件。

拥有这样的套房，仅仅是白日梦吗？团队如何能够管理始终如一的绿色、低维护的非单元测试套件？

Geb（自动化测试框架）是一个好的验收测试框架吗？

我目前正在尝试使用frank（以及UISpec）为我们的新 iOS 应用程序编写一些验收测试。虽然框架支持触摸作为与视图交互的基本方式，但它目前不支持更多涉及的手势（例如，捏合、滑动等）。我至少需要添加对滑动的支持，因为这是我们应用程序功能的核心，如果没有它，我们的测试将毫无用处。

如果我能找到一种方法来模拟 Cocoa 中的事件，那么实现它应该相当简单。如果您使用 Apple 的 UIAutomation 框架（请参见此处），则可以发送滑动手势，因此有一个在外部生成这些事件的示例。我在网上四处搜索，但没有找到任何人这样做的例子（尽管之前有人要求类似的东西......）。

非常感谢您的帮助/想法...

将 capybara (0.3.9) 与 steak 一起使用，并在使用 运行我的牛排接受规范时:js => true，firefox 被触发并且它可以工作。但是当我升级capybara到0.4.1.2inGemfile并运行相同的规范时，firefox 在端口 9887 上被触发，但页面只显示Unable to connect. 我认为硒服务器无法启动。@javascript这也影响了我的带有标签的黄瓜场景。

以下是我的spec_helper.rb

这是acceptance_helper.rb

显然，这个问题的答案取决于许多环境因素。

总的来说，我想知道人们的经验是什么HtmlUnitDriver作为一种可靠的工具，可以“信任”以基本上与其他浏览器相同的方式浏览网站。

当然，我意识到“其他浏览器的做法”非常模糊。自然每个浏览器都会有它的怪癖。但是我在一个项目中，我们有数百个验收测试场景（用JBehave编写）并且使用FirefoxDriverandInternetExplorerDriver运行所有这些场景需要两个多小时，从持续集成的角度来看，这有点粗糙。所以我想知道我们是否可以将我们的验收测试切换到使用HtmlUnitDriver并期望更快的时间以几乎相同的行为（也许我们可以预期少数测试会失败使用HtmlUnitDriver并专门运行这些测试）基于浏览器的驱动程序）。

我们的 UI 使用GWT，这可能会使事情复杂化，也可能不会（我不知道）。

基本上，根据其他人的经验，它的HtmlUnitDriver操作与其他浏览器一样好，还是它真的只适用于带有最少 JavaScript 的非常简单的 HTML 网站，不应该用于企业 Web 应用程序？

我有一些用 Gherkin 语法编写的验收测试，并使用 SpecFlow 将它们自动化。场景的一个示例（尽管它不在小黄瓜中）是，

“当提交审核时，加薪百分比高于公司阈值，则需要“加薪审批人”批准该审核。”

如您所见，这是一个特殊情况的示例，该情况导致其他人必须批准评论。鉴于这个例子，是否有必要有一个场景，

“当提交审核时，加薪百分比在公司门槛内，则“加薪审批人”不需要批准审核。”

如果是这样，截止线在哪里。显然，这可能导致每 1 个场景有 2 个场景——一个与您要完成的任务有关，一个只是验证您没有犯错（例如，增加批准者最终必须批准每条评论）

对于 Rails 项目，我在 Capybara+RSpec 中几乎没有集成测试。今天我遇到了Steak gem，它意味着纯 Ruby 替代 Cucumber。尽管乍一看，我看不到它们中的任何一个有任何价值。对我来说，它看起来像 Steak 重命名describe为feature和。就我个人而言，我更喜欢描述它，因为我已经习惯了它们，而且我看不出有任何理由让我的验收测试看起来与我的控制器或模型测试不同。itscenario

我错过了什么吗？

一般来说，测试、生产和开发是如何相互分离的？以及如何在场景中使用访问控制？

我创建了一个软件包，该软件包会生成一个充满结果的目录。我想测试一些标准输入文件的结果。每次运行时目录应该有点相似，除了有限数量的变化：当前日期/时间的痕迹、特定于运行的 UUID、当前的 Subversion 修订号。这很复杂，因为有时这些变量会插入到文本文件的正文中，有时会插入到它们的文件名中。有时文本文件已经过 gzip 压缩。这一切都使diff仅比较目录变得复杂。

理想情况下，我希望能够对应用程序进行一次“黄金”运行，编辑输出文件以用某种正则表达式语法替换变量，并运行一些应用程序来比较目录，接受与正则表达式语法匹配的东西。是否有一个测试框架可以轻松地为我做到这一点？最好是有命令行界面，其次是 Python 界面。如果没有，我想我可能会尝试自己卷起一些东西。