问题标签 [tap-harness]

我们有一个项目，我们在其中运行几个测试，持续时间约为 3 小时。而且我观察到在生成结果的步骤中会浪费很多时间。例如：我有这个脚本harness.pl

还有几个测试，让我们举一个例子script.：

现在我使用 HTML 报告运行测试：

我得到以下结果：

ok 100002 - 完成
script.t 运行时间：34 秒。harness.pl 运行时间：42 秒。
通过：100002
失败：0
错误：0
完成脚本后 8 秒。

之后我尝试使用默认的控制台格式化程序：

结果：

ok 100002 - 完成
script.t 运行时间：34 秒。
ok
所有测试成功。
Files=1, Tests=100002, 34 wallclock secs (16.20 usr + 3.61 sys = 19.81 CPU)
结果：
PASSharness.pl 运行时间：34 秒。
通过：100002
失败：0
错误：0

所以这看起来相当不错，这让我认为问题出在创建一个非常大的 HTML 报告，在本例中将生成一个13,854 KBHTML 文件。

所以我把这个简单的例子放到我的项目之外。并运行我的测试的简化版本，它会生成如下报告： 正如你所看到的，这不是大量的测试，只有 35 个左右的文件，35 KB我认为没有任何可能有很多计算问题的文件。

然后我查看具有相同结构的日志，在其中打印脚本的最后一行，我得到了这个时间差：

t/long-test.t 运行时间：117 秒。
# 看起来你没有通过 34 的 2 次测试。
通过：32
失败：2
错误：2
Harness.pl 运行时间：212 秒。

我又想了想，好吧，这个 HTML 库一定有问题。所以我全力以赴并删除 HTML 报告并仅使用控制台格式化程序：

# 在 t/mylongtest.t 第 237 行。t
/mylongtest.t 运行时间：128 秒。
# 看起来你没有通过 34 的 2 次测试。
可疑，测试返回 2 (wstat 512, 0x200)
失败 2/34 子测试

测试总结报告
-------------------
mylongtest (Wstat: 512 测试: 34 失败: 2)
失败测试: 33-34
非零退出状态: 2
Files=1 , Tests=34, 215 wallclock secs (0.22 usr + 0.12 sys = 0.34 CPU)
结果: FAIL
Passed: 32
Failed: 2
Errors: 2
Harness.pl 运行时间: 216 秒。

然后我再次得到了从测试结束时的 128 秒到线束结束时的 216 秒的这种克雷差异。

我试图完全删除线束脚本，只使用证明，我得到了同样的结果

所以我的问题是。在 done_testing / end of a test 和报告测试工具的结果之间发生了什么，我能做些什么来改进它？

更新：我终于能够在一个最小的例子中重现这个问题，而且似乎问题不是 TAP，而是在脚本末尾使用垃圾收集器或类似的东西发生了什么。我创建了两个脚本，第一个delete_me.pl：

现在我从其他脚本中调用它delete_me_caller.pl：

这是惊喜：

字符串生成
哈希生成
delete_me.pl 运行时间：20 秒。
delete_me_caller.pl 运行时间：42 秒。

因此，结束脚本比生成数据并将其加载到内存需要更多的时间。 注意：对于这个脚本，我使用的是带有 32GB ram 和 i7 8650 U 的个人计算机，因此这可能需要更长的时间，而 RAM 或电源更少。