hadoop - 如何并行执行多个 PIG 脚本？

Question

我有多个 PIG 脚本，目前我正在使用命令 pig -x mapreduce /path/to/Script/Script1.pig && /path/to/Script/Script2.pig && /path/to/Script/ 按顺序执行它Script3.pig

现在我正在寻找并行执行这些脚本以提高性能，因为它们都是相互独立的。我试图搜索它，但没有得到确切的信息。

那么有什么方法可以并行执行所有 PIG 脚本吗？

Answer 1

#!/bin/bash

pig -x mapreduce /path/to/Script/Script1.pig &
pig -x mapreduce /path/to/Script/Script2.pig &
pig -x mapreduce /path/to/Script/Script3.pig &

wait
echo "Done!"

Answer 2

您应该能够使用 Apache Oozie http://oozie.apache.org/