问题标签 [regression-testing]

我和我的团队有一个大型 Web 应用程序，我们正在移植以使用Symfony框架，其中包括用于数据访问的Doctrine2 。当我们刚刚开始时，我们想知道稍后对实体关系进行回归测试。

我们有大量从数据库模式自动生成的 Doctrine 实体，现在正在检查和整理每个实体，特别是在关系映射领域。一旦映射完成（使用 doc 块注释）并且我们通过简单的脚本确认实体正在执行正确的数据访问，那么确保映射以及因此实体的功能将来不会中断的最佳方法是什么。

我们正在为作为独立单元的所有实体编写单元测试，模拟所需的依赖项，但这并不一定能保护我们免受正在编辑的注释注释或模式更改和破坏当前实体关系的影响。

有什么想法吗？这里有人有同样的问题吗？

我目前正在用 Python 编写 Java 反编译器，并想添加一些自动化功能测试。我有一堆简短的 Java 代码，需要确保它们反编译没有错误，输出代码编译，并且生成的程序给出预期的输出。

我计划编写一些脚本来subprocess自动完成这一切，但我在决定如何创建和存储测试时遇到了麻烦。我想在我出去创建自己的格式和测试运行程序之前，我应该尝试看看是否有任何可行的方法来使用现有的框架。我应该怎么办？我在互联网上阅读了很多关于单元测试、集成测试等的内容，但我不确定如何将其应用于我的情况。

我是测试新手，老实说，我想重新开始，因为我一直在阅读 msdn 库中的很多文章，现在我很困惑......请帮助！

我做了什么：

• 我在 VS 2010 中创建了一个自动编码的 UI 测试 (CUIT)
• CUIT 正在从 Excel 文件中获取数据
• 在此博客之后创建了 excel 文件和 CUIT 之间的链接

我的 MS 工具

• 微软测试管理器 2010
• 视觉工作室 2010
• Team Foundation Server 2010 和 Team Foundation Build
• SQL Server 2008 R2（如果相关）

目标：使用我的电脑在物理环境中运行自动化测试，无需额外工具

非常感谢你！

我无法在 Visual Studio 2010 高级版的测试菜单中看到编码的 UI 测试。我只能看到基本单元测试、有序测试、单元测试和单元测试向导。我尝试使用自定义功能在菜单中添加编码 UI 测试生成器，但它在菜单中显示为禁用。

请让我知道如何访问编码的 UI 测试。

我们有一台带有构建控制器的服务器、一台带有测试代理的服务器和一台安装了 Visual Studio 2010 Ultimat 的服务器。当我们排队一个测试以在控制器上构建并在代理上运行时，
测试 (cuit) 会在控制器上构建和运行。

代理已连接到控制器，一切似乎都已连接且正常。必须有一个我们遗漏的小细节或一些错误的配置。我们尝试在控制器上添加一个新代理，并且代理上的“测试代理状态”在线并连接到控制器。放置文件夹可从所有内部具有已完成构建的服务器访问。

任何想法将不胜感激。

比约恩

我是 Watir 框架的新手，我们有一个类似的代码

. 但这在 IE 上运行良好，但在 Firefox 上却并非总是如此。所以我们使用类似的东西

但是我们不想为 IE 写一个，为 Firefox 写一个。我们应该使用什么？

感谢您的时间。

我正在 XLL 中用 C++ 编写一些 Excel 插件。是否有一种标准和/或简单的方法可以为 excel 插件设置非回归测试，并将它们与 SVN 等源代码控制软件集成以生成自动报告。

正如 BonCodigo 所提到的，如果我可以通过 C# 程序而不是 Excel 调用插件，那么一切都会变得微不足道。

我目前使用 VS2005 和 Office 2012。

干杯托尼

我在一个开发财务信息网络应用程序的团队中。我们还没有为它编写很多自动化测试，所以我们决定将回归测试添加到我们程序最关键的部分。不过，我对自动化测试非常陌生，所以我不完全确定应该如何编写测试。

这篇文章很长，所以这里有一个 tl;dr 问题：如何编写回归测试来检查某些计算是否有效？不过，我不只是想测试计算 - 我还想知道计算所依赖的任何组件是否会使其输入中断。我不需要知道哪个组件特别坏了，只是有些东西不起作用。我应该使用什么方法？

这是我们的情况：我们使用分层架构开发应用程序，如下所示：

我们已经确定计算引擎是我们程序中最需要回归测试套件的部分。这些组件包含我们用来将原始财务数据处理成有用结果的计算和算法。他们相应的经理通过调用他们的公共方法来使用它们，这些方法接受原始财务数据作为参数。当引擎方法返回时，它们会发回一个包含已处理财务结果的对象。与此同时，管理人员从数据访问者那里获取原始财务数据，而后者又从数据库中获取数据。

我们决定一旦财务计算“中断”就想知道，这样我们就知道该错误存在于自上次运行测试以来已触及的程序的任何部分中。这将让我们使用持续测试来保护我们不让引擎产生错误的结果并且不知道在哪里寻找。

当我们思考这意味着什么时，我们意识到为每个引擎添加一个单元测试是不够的。例如，假设对数据访问器的错误更改意味着它们开始提取错误的数据。然后，这些数据将通过管理器发送到引擎，这将产生错误的结果。但是，引擎的算法本身仍然可以完美运行，因此单元测试仍然可以通过。这意味着当我们注意到生成了错误的数字时，我们将无法知道该错误是何时引入的，从而使得追踪和修复变得更加困难。

相反，我们希望进行回归测试，只要出现任何会导致引擎输出的最终结果不正确的错误，即使问题是错误的数据被发送到引擎和并不是说引擎本身有问题。当这些测试失败时，它们不会告诉我们问题出在哪里，但如果我们持续测试，我们会在签入错误后立即知道，并进行少量更改以查看以修复它。

所以这就是我们想要做的。不幸的是，我们不知道如何创建这些测试。哪些方法或模式可用于编写这些类型的回归测试？

我们的问题有时是当我们用我们的 cuid 测试排队一个新的构建时，构建控制器变得“不可用”。然后我们必须登录构建控制器服务器并在 tfs 管理控制台中手动重新启动服务。这似乎是随机发生的。我已经搜索了互联网，但没有找到任何相关的答案。有些人认为防火墙或两张网卡可能是问题所在，但我们的情况并非如此。

事件查看器日志：

登录号 1.（QTController.exe，PID 1568，线程 21）ControllerSpooledJob.AddMessage：1[Microsoft.VisualStudio.TestTools.Controller.IControllerEvents]: System.Net.Sockets.SocketException (0x80004005): No connection could be made because the target machine actively refused it 110.11.170.140:2451 Server stack trace: at System.Net.Sockets.Socket.Connect(IPAddress[] addresses, Int32 port) at System.Runtime.Remoting.Channels.RemoteConnection.CreateNewSocket(AddressFamily family) at System.Runtime.Remoting.Channels.RemoteConnection.CreateNewSocket() at System.Runtime.Remoting.Channels.RemoteConnection.GetSocket() at System.Runtime.Remoting.Channels.SocketCache.GetSocket(String machinePortAndSid, Boolean openNew) at System.Runtime.Remoting.Channels.Tcp.TcpClientTransportSink.SendRequestWithRetry(IMessage msg, ITransportHeaders requestHeaders, Stream requestStream) at System.Runtime.Remoting.Channels.Tcp.TcpClientTransportSink.ProcessMessage(IMessage msg, ITransportHeaders requestHeaders, Stream requestStream, ITransportHeaders& responseHeaders, Stream& responseStream) at System.Runtime.Remoting.Channels.BinaryClientFormatterSink.SyncProcessMessage(IMessage msg) Exception rethrown at [0]: at System.Runtime.Remoting.Proxies.RealProxy.HandleReturnMessage(IMessage reqMsg, IMessage retMsg) at System.Runtime.Remoting.Proxies.RealProxy.PrivateInvoke(MessageData& msgData, Int32 type) at Microsoft.VisualStudio.TestTools.Controller.IControllerEvents.ControllerEvent(TestMessage report) at Microsoft.VisualStudio.TestTools.Controller.ControllerSpooledJob.<>c__DisplayClass6.<AddMessage>b__3(IControllerEvents eventListener) at Microsoft.VisualStudio.TestTools.Execution.RemoteObjectContainer在 Microsoft.VisualStudio.TestTools.Controller.ControllerSpooledJob 调用事件侦听器 Microsoft.VisualStudio.TestTools.Execution.RemoteObjectContainer 1.InvokeAsRemoteUser（Action`1 调用）失败。 AddMessage(TestMessage 消息)

登录号 2. (QTController.exe, PID 1568, Thread 46) 用户不在管理员组中。

登录号 3. (QTController.exe, PID 1568, Thread 46) ControllerExecution: ReverseDeploymentComplete 期间错误的运行状态: Microsoft.VisualStudio.TestTools.Exceptions.EqtException: Expected state Completing, but actual state is Disposed at Microsoft.VisualStudio.TestTools.Common.StateMachine `1.在 Microsoft.VisualStudio.TestTools.Controller.ControllerExecution.ReverseDeploymentComplete（Guid runId，FileCopyFinishedReason 原因）处验证（预期的 StateEnum）

任何有关此问题的建议、想法或经验将不胜感激。

我需要一些关于为我的回归测试策略选择正确工具的建议。主要标准是正确工具的“最佳购买”。在分析了 Gartner 的案例研究后，我尝试在 Atlassian 和 IBM QA 解决方案之间进行选择。主要的困境是IBM Jazz 平台集成了Rational 功能测试器作为自动化测试解决方案，而Atlassian 依赖于默认不集成自动化测试收费的Jira 平台。

我的公司是面向 Java 的，所以我们取消了 HP Quick Test Professional，因为 VB 脚本语言。

选项是：

1. Atlassian：Jira - Greenhoper - Zephyr - Selenium 2
2. IBM：Jazz - Rational 质量中心 - Rational 团队音乐会 - Rational 功能测试器。

第一个显然是更便宜的解决方案，但我认为 Selenium 不是长期解决方案，因为当应用程序发生变化时，维护大量测试脚本变得更加困难 - 当我在脚本中替换某些内容时，RFT 会映射对象（或者也许我'我错了）。

负责自动化测试的人将是开发人员，因为我无法仅通过记录器创建大部分测试。

要测试的应用程序是 java web 应用程序并与另一个系统集成。

问题：RFC 是否有可能与 Jira 集成而不是 Jazz？如果是，您如何看待 Atlassian - Jira - Greenhoper - Zephyr - Rational 功能测试器解决方案？