3

我想写一个hypothesis.stateful.RuleBasedStateMachine断言在某些情况下引发异常的语句。为编写有关异常的测试pytest提供上下文管理器。raises如果我pytest.raises在 a中使用，则不会报告hypothesis.stateful.rule导致测试失败的步骤序列。

重写规则而不pytest.raises产生所需的行为：显示步骤顺序。

这是一些示例代码：

from os import getenv

from pytest import raises

from hypothesis.stateful   import RuleBasedStateMachine, rule

SHOW_PROBLEM = getenv('SHOW_PROBLEM') == 'yes'


# A state machine which asserts that an exception is raised in under some condition
class FifthCallShouldRaiseValueError(RuleBasedStateMachine):

    def __init__(self):
        super().__init__()
        self.model = Model()
        self.count = 0

    if SHOW_PROBLEM:

        # This version does NOT report the rule sequence
        @rule()
        def the_rule(self):
            self.count += 1
            if self.count > 4:
                with raises(ValueError):
                    self.model.method()

    else:

        # This version DOES report the rule sequence
        @rule()
        def the_rule(self):
            self.count += 1
            if self.count > 4:
                try:
                    self.model.method()
                except ValueError: assert True
                except           : assert False
                else             : assert False


T = FifthCallShouldRaiseValueError.TestCase


# A model that deliberately fails the test, triggering reporting of
# the sequence of steps which lead to the failure.
class Model:

    def __init__(self):
        self._count = 0

    def method(self):
        self._count += 1
        if self._count > 4:
            # Deliberate mistake: raise wrong exception type
            raise TypeError

要观察行为的差异，请执行测试

  • SHOW_PROBLEM=yes pytest <...>
  • SHOW_PROBLEM=no pytest <...>

在第二种情况下，输出将显示

state = FifthCallShouldRaiseValueError()
state.the_rule()
state.the_rule()
state.the_rule()
state.the_rule()
state.the_rule()
state.teardown()

在第一种情况下，输出中缺少此步骤序列。这是我们所希望的：在这两种情况下都应该显示序列。

pytest.raises提高Failed: DID NOT RAISE <class 'ValueError'>手写版本提高AssertionError。前者在未能引发所需异常时提供更多信息，但不知何故似乎阻止hypothesis.stateful报告步骤顺序，这告诉我们如何进入该状态，并且通常是输出中最有趣的部分。

可以做些什么来减轻这种情况，即确保打印出步骤顺序，除了不使用pytest.raises？

4

1 回答 1

2

事实证明，如果出现规则BaseException或非Exception子类，则不会打印这些步骤。 pytest.raises(...)如果它没有得到预期的异常，就会引发这样的错误，你就在那里。

https://github.com/HypothesisWorks/hypothesis/issues/1372

既然它已经被识别出来，它就不是一个特别棘手的错误了——感谢你在这方面的贡献，报告了一个可重现的案例！- 所以我们应该尽快解决。

更新：此错误已于 2018 年 7 月 3 日在假设 3.65.1中修复。

于 2018-06-30T14:09:43.997 回答