33

如何使用 Make 实现一个简单的回归测试框架？（如果这很重要，我正在使用 GNU Make。）

我当前的 makefile 看起来像这样（为简单起见进行了编辑）：

OBJS = jscheme.o utility.o model.o read.o eval.o print.o

%.o : %.c jscheme.h
    gcc -c -o $@ $<

jscheme : $(OBJS)
    gcc -o $@ $(OBJS)

.PHONY : clean

clean :
    -rm -f jscheme $(OBJS)

我想要一组回归测试，例如，expr.in测试一个“好”的表达式并unrecognized.in测试一个“坏”的表达式，其中expr.cmp&unrecognized.cmp是每个表达式的预期输出。手动测试如下所示：

$ jscheme < expr.in > expr.out 2>&1
$ jscheme < unrecognized.in > unrecognized.out 2>&1
$ diff -q expr.out expr.cmp # identical
$ diff -q unrecognized.out unrecognized.cmp
Files unrecognized.out and unrecognized.cmp differ

我想在生成文件中添加一组规则，如下所示：

TESTS = expr.test unrecognized.test

.PHONY test $(TESTS)

test : $(TESTS)

%.test : jscheme %.in %.cmp
    jscheme < [something.in] > [something.out] 2>&1
    diff -q [something.out] [something.cmp]

我的问题：
• 我在 [something] 占位符中放了什么？
• 有没有办法用diff“测试expr失败”的消息替换消息？

4

4 回答 4

19

如问题中所述，您的原始方法是最好的。您的每个测试都采用一对预期输入和输出的形式。Make 非常有能力遍历这些并运行测试；无需使用 shellfor循环。事实上，这样做你就失去了并行运行测试的机会，并且为自己创造了额外的工作来清理临时文件（这不是必需的）。

这是一个解决方案（以bc为例）：

SHELL := /bin/bash

all-tests := $(addsuffix .test, $(basename $(wildcard *.test-in)))

.PHONY : test all %.test

BC := /usr/bin/bc

test : $(all-tests)

%.test : %.test-in %.test-cmp $(BC)
    @$(BC) <$< 2>&1 | diff -q $(word 2, $?) - >/dev/null || \
    (echo "Test $@ failed" && exit 1)

all : test 
    @echo "Success, all tests passed."

该解决方案直接解决了您最初的问题：

  • 您要查找的占位符分别对应于先决条件$<和。与@reinierpost 评论相反，不需要临时文件。$(word 2, $?)%.test-in%.test-cmp
  • diff 消息被隐藏并使用echo.
  • make -k无论单个测试是失败还是成功，都应该调用 makefile来运行所有测试。
  • make -k all只有在所有测试都成功时才会运行。

all-tests通过利用文件命名约定 ( *.test-in) 和文件名的 GNU make函数来定义变量时，我们避免手动枚举每个测试。作为奖励，这意味着该解决方案可以开箱即用地扩展到数万个测试，因为GNU make中变量的长度是无限的。这比基于 shell 的解决方案要好，一旦你达到操作系统命令行限制就会崩溃。

于 2015-01-08T10:34:39.133 回答
13

制作一个测试运行脚本，它接受一个测试名称并从中推断输入文件名、输出文件名和样本数据：

#!/bin/sh
set -e
jscheme < $1.in > $1.out 2>&1
diff -q $1.out $1.cmp

然后，在你的Makefile：

TESTS := expr unrecognised

.PHONY: test
test:
    for test in $(TESTS); do bash test-runner.sh $$test || exit 1; done

您也可以尝试实现类似automake的简单测试框架。

于 2011-02-08T02:39:46.807 回答
4

我最终得到的结果如下所示：

TESTS = whitespace list boolean character \
    literal fixnum string symbol quote

.PHONY: clean test

test: $(JSCHEME)
    for t in $(TESTS); do \
        $(JSCHEME) < test/$$t.ss > test/$$t.out 2>&1; \
        diff test/$$t.out test/$$t.cmp > /dev/null || \
            echo Test $$t failed >&2; \
    done

它基于 Jack Kelly 的想法，包括 Jonathan Leffler 的提示。

于 2011-02-10T22:37:52.580 回答
2

我将仅解决您有关差异的问题。你可以做：

差异文件 1 文件 2 > /dev/null || echo 测试 blah blah 失败 >&2

尽管您可能想使用 cmp 而不是 diff。

另一方面，您可能会发现继续尝试并使用 automake 会有所帮助。您的 Makefile.am（整体）将如下所示：

bin_PROGRAMS = jscheme
jscheme_SOURCES = jscheme.c utility.c model.c read.c eval.c print.c jscheme.h
TESTS = 测试脚本

您将免费获得很多非常好的目标，包括一个功能齐全的测试框架。

于 2011-02-08T10:54:09.853 回答