3

当我试图解释我的困境时，请耐心等待，我仍然是 Python 新手，所以我的术语可能不正确。另外，我很抱歉这篇文章不可避免的冗长，但我会尝试尽可能详细地解释相关细节。

简要介绍：

我目前正在使用 py.test 为一组功能基本相同的网站开发一套 Selenium 测试

我的一个典型测试如下所示：

@pytestrail.case('C100123')  # associates the function with the relevant TR case
@pytest.mark.usefixtures()
def test_login():
   # test code goes here

正如我之前提到的，我的目标是创建一组代码来处理我们具有（几乎）相同功能的许多网站，因此上面示例中的硬编码装饰器将不起作用。

我尝试了一种数据驱动方法，其中包含 csv 和 TestRail 中的测试列表及其案例 ID。

例子：

website1.csv:
Case ID | Test name
C100123 | test_login


website2.csv:
Case ID | Test name
C222123 | test_login

我编写的代码将使用检查模块来查找正在运行的测试的名称，找到相关的测试 ID 并将其放入名为 test_id 的变量中：

import csv
import inspect
class trp(object):
def __init__(self):
    pass


with open(testcsv) as f:  # testcsv could be website1.csv or website2.csv
    reader = csv.reader(f)
    next(reader)  # skip header
    tests = [r for r in reader]


def gettestcase(self):
    self.current_test = inspect.stack()[3][3]
    for row in trp.tests:
        if self.current_test == row[2]:
            self.test_id = (row[0])
            print(self.test_id)
            return self.test_id, self.current_test


def gettestid(self):
    self.gettestcase()

这个想法是装饰器会根据我当时使用的 csv 动态变化。

@pytestrail.case(test_id)  # now a variable
@pytest.mark.usefixtures()
def test_login():
   trp.gettestid()
   # test code goes here

因此，如果我为 website1 运行test_login，装饰器将如下所示：

@pytestrail.case('C100123')

如果我为 website2 运行test_login，装饰器将是：

@pytestrail.case('C222123')

我为自己提出这个解决方案感到非常自豪并尝试了它......它没有用。虽然代码本身可以工作，但我会得到一个异常，因为 test_id 是未定义的（我理解为什么 -gettestcase在装饰器之后执行，所以它当然会崩溃。

我可以处理的唯一其他方法是在执行任何测试代码之前应用 csv 和 testID。我的问题是 - 我怎么知道如何将测试与他们的测试 ID 相关联？一个优雅的、最小的解决方案是什么？

很抱歉这个冗长的问题。如果您需要更多解释，我将密切关注以回答任何问题。

4

2 回答 2

4

pytest非常擅长为测试做各种元编程的东西。如果我正确理解您的问题，下面的代码将使用标记进行动态测试pytestrail.case标记。在项目根目录中，创建一个名为的文件conftest.py并将此代码放入其中：

import csv
from pytest_testrail.plugin import pytestrail


with open('website1.csv') as f:
    reader = csv.reader(f)
    next(reader)
    tests = [r for r in reader]


def pytest_collection_modifyitems(items):
    for item in items:
        for testid, testname in tests:
            if item.name == testname:
                item.add_marker(pytestrail.case(testid))

现在您根本不需要标记测试@pytestrail.case()- 只需编写其余代码并pytest负责标记：

def test_login():
    assert True

启动时pytest，上面的代码将读取website1.csv并存储测试 ID 和名称，就像您在代码中所做的一样。在测试运行开始之前，pytest_collection_modifyitemshook 将执行，分析收集的测试 - 如果测试与 csv 文件中的名称相同，pytest则将pytestrail.case带有测试 ID 的标记添加到它。

于 2018-07-16T19:44:27.443 回答
0

我相信这不能像您预期的那样工作的原因与 python 读取和执行文件的方式有关。当 python 开始执行时，它会读取链接的 python 文件并逐行执行每一行。对于“根”缩进级别的东西（函数/类定义、装饰器、变量赋值等），这意味着它们在加载时只运行一次，并且永远不会再次运行。在您的情况下，python 解释器读取 pytest-testrail 装饰器，然后是 pytest 装饰器，最后是函数定义，每一个都执行一次。

（旁注，这就是为什么你永远不应该使用可变对象作为函数参数默认值：Common Gotchas）

鉴于您想首先推断出当前的测试名称，然后将其与测试用例 ID 相关联，最后将该 ID 与装饰器一起使用，我不确定 pytest-testrail 的当前功能是否可行。至少，如果没有一些深奥且难以使用描述符等进行调试/维护的黑客攻击，这是不可能的。

我认为您实际上有一个选择：使用不同的 TestRail 客户端并更新您的 pytest 结构以使用新客户端。我可以推荐的两个 python 客户端是testrail-python和TRAW (TestRail Api Wrapper) (*)

您需要做更多的工作来创建用于开始运行、更新结果和关闭运行的固定装置，但我认为最终您将拥有一套更便携的测试和更好的结果报告。

(*) 全面披露：我是 TRAW 的创建者/维护者，也对 testrail-python 做出了重大贡献

于 2018-07-16T18:28:29.407 回答