hadoop - Hadoop Pig 无法存储到现有文件夹

Question

我创建了一个文件夹，使用 Store 命令从 Pig 进程中删除结果文件。它第一次工作，但第二次它认为该文件夹已经存在。这种情况的最佳做法是什么？关于这个主题的文档很少。

我的下一步是将文件夹重命名为原始文件名，以减少这种影响。有什么想法吗？

Answer 1

您可以在 Pig 中执行fs 命令，并且应该能够通过在运行 STORE 命令之前发出 fs -rmr 命令来删除目录：

fs -rmr dir
STORE A into 'dir' using PigStorage();

唯一微妙的是 fs 命令不需要在目录名两边加上引号，而 store 命令确实需要在目录名两边加上引号。