对于我的词法分析器（标记器），所有ASCII 7 位字符（0x00 到 0x7F）都有一个特定的标记。由于 SWI-Prolog支持 Unicode，字符代码从 0x0000 到 0xFFFF。
在我的词法分析器中，由于有许多字符不会映射到特定标记，因此存在未知标记 (tokUnknown)。
为了确保代码在 0 到 127（0x00 到 0x7F）之间的所有字符都没有 tokUnknown，需要测试用例。
测试用例需要一个简单的词法分析器将字符转换为标记。
tokenizer_unknown(Token) -->
(
white_space_char(W), !, white_space(W, S),
{ Token = tokWhitespace(S) }
;
[S],
{ special_character(S,Token) }
;
digit(D), !, number(D, N),
{ Token = tokNumber(N) }
;
letter(L), !, word(L, W),
{ Token = tokWord(W) }
;
[_],
{ Token = tokUnknown }
), !.
这是代码为 0 的字符的测试用例。
:- begin_tests(unknown).
test(001) :-
Code = 0,
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
:- end_tests(unknown).
以这种方式编写测试需要 128 个不同的测试来检查tokUnknown.
SWI-Prolog 单元测试库plunit有一个选项forall来生成数据。
根据文档，测试应如下所示：
test(002, [forall(???)]) :-
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
是否可以使用该forall选项仅编写一个测试用例而不是为该测试系列编写 128 个单独的测试用例？
您可以使用 forall 给出测试用例的工作版本吗？
跟进
forall 的模板是forall(:Generator).
当我第一次看到这个时，我完全糊涂了，几乎走开了回去写大量的测试，但坚持它知道这对于进行参数化测试应该是多么有价值和容易，例如JUnit 5或NUnit 3。然后可以使用参数化测试进行模糊测试，并且可以增强模糊测试以生成反例，例如QuickCheck、FsCheck
示例 1
在硬编码测试中
test(001) :-
Code = 0,
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
我想Code为每个测试创建一个更改的变量。我也知道 的约束Code，即 0 到 127。
因此，对于这个简单的生成器，所需要的只是一个谓词，它在调用时生成从 0 到 127 的值并将它们作为变量返回，例如Code.
between/3满足要求，例如
?- between(0,3,Code).
Code = 0 ;
Code = 1 ;
Code = 2 ;
Code = 3.
通过查看答案可以看出，只需将谓词赋予forall，例如
forall(between(0, 127, Code))
示例 2
该测试是检查所有单独的空白字符或 ASCII 7 位字符的空白字符序列是否返回 astokWhitespace并且空白字符是令牌的字符串值。
带有空格标记的自定义不是在标记中包含字符，但在这里包含它们是因为如果需要更容易删除它们然后想知道为什么 OP 不这样做。因为这是为了学习，所以包括在内。
硬编码测试
:- begin_tests(white_space).
test(001) :-
String = "\t",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\t")),
assertion(Rest == []).
test(011) :-
String = "\t\r",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\t\r")),
assertion(Rest == []).
test(043) :-
String = "\s\s\s",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\s\s\s")),
assertion(Rest == []).
:- end_tests(white_space).
在这个例子中，变量是String，例如"\t"，令牌中的值tokWhitespace，例如"\t"。
单个空白字符是：
?- code_type(Char,space).
Char = 9 ; % tokHorizontalTab \t
Char = 10 ; % tokLineFeed \n
Char = 11 ; % tokVerticalTab \v
Char = 12 ; % tokFormFeed \f
Char = 13 ; % tokCarriageReturn \r
Char = 32 ; % tokSpace \s
Char = 160 ; % Yes, there are space characters defined beyond 7-bit ASCII. See: https://en.wikipedia.org/wiki/Whitespace_character#Unicode
Char = 5760 ;
...
从几十年来编写词法分析器/标记化测试中学到的一个教训是，每个单独的字符都需要进行测试。此外，测试不应以与 lexer/tokenizer 中的检查相同的方式生成值。在这种情况下，测试不应该依赖，code_type/2因为它在词法分析器/标记器中使用，并且如果code_type/2在某些地方如何获得错误，测试将无法检测到它。所以测试用例将通过不同的方式获取字符，在这个例子中它们来自一个列表。
从几十年的递归代码测试中学到的第二个教训是，测试需要测试至少三个级别的深度。在此示例中，空白字符的测试将测试最多三个字符的序列。
第三个教训是，将函数组合与组合、排列、类型构造函数和类型析构函数等函数结合使用可以减少编写测试数据生成器的组合爆炸；相反，它们有助于测试用例的组合爆炸。要在 Prolog 中做到这一点，需要将功能概念转换为 Prolog 谓词。
基于这些教训，需要一些辅助谓词。
comb(0,_,[]).
comb(N,[X|T],[X|Comb]) :-
N>0,
N1 is N-1,
comb(N1,T,Comb).
comb(N,[_|T],Comb) :-
N>0,
comb(N,T,Comb).
variation_string(N,L,String) :-
between(1,N,N0),
comb(N0,L,L1),
permutation(L1,L2),
string_chars(String,L2).
variation_number(N,L,String,Number) :-
between(1,N,N0),
comb(N0,L,L1),
permutation(L1,L2),
string_chars(String,L2),
number_chars(Number,L2).
示例用法：
?- variation_string(3,['\t','\r','\n'],String).
String = "\t" ;
String = "\r" ;
String = "\n" ;
String = "\t\r" ;
String = "\r\t" ;
String = "\t\n" ;
String = "\n\t" ;
String = "\r\n" ;
String = "\n\r" ;
String = "\t\r\n" ;
String = "\t\n\r" ;
String = "\r\t\n" ;
String = "\r\n\t" ;
String = "\n\t\r" ;
String = "\n\r\t" ;
false.
为了保持阅读forall更简单，创建了一个辅助谓词。
generator_ascii_7bit_char_type_white(R) :-
variation_string(3,['\t','\n','\v','\f','\r','\s'],R).
现在在测试中简单地使用生成器forall。
:- begin_tests(white_space).
test(000, [forall(generator_ascii_7bit_char_type_white(String))]) :-
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace(String)),
assertion(Rest == []).
:- end_tests(white_space).
用这么少的代码创建并运行所有这些测试（每个点代表一个单独的测试用例）。
% PL-Unit: white_space ............................................................................................................................................................ done
示例 3
此示例测试一个非确定性谓词，因此需要使用findall。这也有用于谓词的两个输入参数和两个输出参数。
findall/3 的签名是
findall(+Template, :Goal, -Bag)
使用两个值与finall/3不是Template一个元组，例如(A,B)，而是一个列表，例如[A,B]，并且Bag是一个列表的列表，例如[["1",1],["2",2]]，列表中的每个项目都是结果，内部列表中的项目是相应Template参数的值。
本例测试variation_number/4
:- begin_tests(variation_number_4).
variation_number_4(0,[],[]).
variation_number_4(1,[],[]).
variation_number_4(2,[],[]).
variation_number_4(3,[],[]).
variation_number_4(0,['1'],[]).
variation_number_4(1,['1'],[["1",1]]).
variation_number_4(2,['1'],[["1",1]]).
variation_number_4(3,['1'],[["1",1]]).
variation_number_4(0,['1','2'],[]).
variation_number_4(1,['1','2'],[["1",1],["2",2]]).
variation_number_4(2,['1','2'],[["1",1],["2",2],["12",12],["21",21]]).
variation_number_4(3,['1','2'],[["1",1],["2",2],["12",12],["21",21]]).
variation_number_4(0,['1','2','3'],[]).
variation_number_4(1,['1','2','3'],[["1",1],["2",2],["3",3]]).
variation_number_4(2,['1','2','3'],[["1",1],["2",2],["3",3],["12",12],["21",21],["13",13],["31",31],["23",23],["32",32]]).
variation_number_4(3,['1','2','3'],[["1",1],["2",2],["3",3],["12",12],["21",21],["13",13],["31",31],["23",23],["32",32],["123",123],["132",132],["213",213],["231",231],["312",312],["321",321]]).
variation_number_4(0,['1','2','3','4'],[]).
variation_number_4(1,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4]]).
variation_number_4(2,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4],["12",12],["21",21],["13",13],["31",31],["14",14],["41",41],["23",23],["32",32],["24",24],["42",42],["34",34],["43",43]]).
variation_number_4(3,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4],["12",12],["21",21],["13",13],["31",31],["14",14],["41",41],["23",23],["32",32],["24",24],["42",42],["34",34],["43",43],["123",123],["132",132],["213",213],["231",231],["312",312],["321",321],["124",124],["142",142],["214",214],["241",241],["412",412],["421",421],["134",134],["143",143],["314",314],["341",341],["413",413],["431",431],["234",234],["243",243],["324",324],["342",342],["423",423],["432",432]]).
test(000, forall(variation_number_4(Len,L,R0s))) :-
findall([R,N],variation_number(Len,L,R,N),Rs),
assertion(Rs == R0s).
:- end_tests(variation_number_4).