llvm - klee check 如何验证测试通过或失败？

Question

我已经阅读了Klee 教程中的 klee 教程。这非常简单直接。但是，当我在KLEE generated files中检查测试生成的文件时，我没有找到任何文件告诉我测试是通过还是失败？可以有两种方法来验证测试结果。

1. KLEE 足够聪明，知道 3 个测试用例的预期返回值是多少

2. KLEE 只是将返回值转储到文件中的某个位置，开发人员需要自己检查它们。

是这样吗？

Answer 1

Klee 不会为您提供在测试中运行的程序的输出，因为它正在静态分析您的代码（大多数情况下）。所以它实际上并没有运行你的程序，这就是它快速的原因。如果它想运行您的程序，则需要更多时间。您只需要自己运行它，看看输出是否符合您的预期。

Klee 是一个测试输入生成工具，而不是测试用例生成工具。不同之处在于测试用例既有输入又有预期输出。

Answer 2

KLEE 使用 LLVM 测试基础设施 llvm-lit 进行单元测试。命令和通过/失败检查写在注释中。

以 test/Feature/DoubleFree.c 为例。

// RUN: %llvmgcc %s -emit-llvm -O0 -c -o %t1.bc
// RUN: rm -rf %t.klee-out
// RUN: %klee --output-dir=%t.klee-out %t1.bc 2>&1 | FileCheck %s
// RUN: test -f %t.klee-out/test000001.ptr.err

int main() {
  int *x = malloc(4);
  free(x);
  // CHECK: memory error: invalid pointer: free
  free(x);
  return 0;
}