我在 Java 应用程序中使用 Pig。目前我有一个线程每 15 分钟运行一次猪查询。每次运行后,我的临时文件夹中都会留下 MR Job Jar,在我的例子中是 /tmp。
他们的代码结构方式是在启动时创建一个 PigServer 实例。然后在一个循环中,我用不同的分区重新注册一个查询,并通过 openIterator 调用执行查询。在线程关闭之前,PigServer 不会关闭。
所以我的问题变成了我需要打个电话来清理罐子吗?还是我需要为每次执行关闭 PigServer?还是我应该在查询完成后自己清理 FS?