performance - 猪性能测量

Question

我写了一个 Pig 脚本，想在 Hadoop 集群上执行它。我如何衡量总处理时间？有什么命令可以让我从头到尾获取处理时间吗？

Answer 1

编辑：添加了time替代方案。

要知道需要多长时间（以秒为单位）：

time pig <options>

另一种方法：

d1=$(date +%s)
pig <options>
d2=$(date +%s)
echo "$d2 - $d1" | bc

或者，在一行中：

d1=$(date +%s) ; pig <options> ; d2=$(date +%s) ; echo "$d2 - $d1" | bc

你也可以看看 pig 的输出。当您在命令行中运行 pig 脚本时，您将在输出末尾看到：

HadoopVersion   PigVersion  UserId  StartedAt   FinishedAt  Features
...

然后你可以减去FinishedAt - StartedAt。