1

我在 Java 应用程序中使用 Pig。目前我有一个线程每 15 分钟运行一次猪查询。每次运行后,我的临时文件夹中都会留下 MR Job Jar,在我的例子中是 /tmp。

他们的代码结构方式是在启动时创建一个 PigServer 实例。然后在一个循环中,我用不同的分区重新注册一个查询,并通过 openIterator 调用执行查询。在线程关闭之前,PigServer 不会关闭。

所以我的问题变成了我需要打个电话来清理罐子吗?还是我需要为每次执行关闭 PigServer?还是我应该在查询完成后自己清理 FS?

4

1 回答 1

0

看来您确实需要在每次使用后创建和销毁 PigServer 对象以清理 tmp 空间中的 pig* 目录。然而,这似乎并没有清理 Job jar。所以我确实必须建立自己的清理功能来处理这个问题。

于 2012-10-22T21:48:16.307 回答