hadoop - 我可以将本地文件的内容传递给 Hadoop Pipes 作业吗

Question

我需要使用存储在本地文本文件中的信息来初始化映射器中的对象。有没有这样做的机制？

Answer 1

您可以将文件上传到 HDFS，然后将其添加到分布式缓存中，使其可供映射器从工作目录加载。

将本地文件上传到 HDFS 并将其放置在分布式缓存中由通用-files选项处理

hadoop pipes -files localfile.txt <other pipes options>

现在要在映射器中加载文件，只需打开一个同名的文件（您可以假设它位于当前工作目录中）（localfile.txt）。

Answer 2

将文件本地存储在客户端上。读取并序列化它并将其添加到 Job conf 对象中。在 mapper 和 reducer 的 setup 方法中，从 conf 对象中读取值并反序列化。

COnf 对象只存储字符串。因此，您需要在对其进行序列化时将其转换为 String 对象。