file - 我可以在 Pig 中访问本地文件吗？

Question

我有一个名为 blacklist.xml 的文件，这个文件的每一行都包含一个绝对路径，这个文件中有多个路径。此文件存储在 /Users/ABC/

请问我是否可以从本地目录（/Users/ABC/）加载此文件，但不能从 HDFS 加载？谢谢！！

Answer 1

您可以使用命令行选项在本地模式下运行 Pig -x local。Pig 一次只能使用单个文件系统——如果您希望使用 hadoop 实例，将临时数据和输出数据存储到 HDFS，那么您的所有输入文件也需要在 HDFS 上。

一个例外是，如果您将本地文件用作参数的集合，在这种情况下，您应该查找如何从文件中读取参数。