twitter - 如何在猪中使用 rcfilepigstorage

Question

我想将一个文本文件加载到pig中，然后将其存储为rc文件我发现twitter在这个链接中提供了一个存储udf

http://grepcode.com/file/repo1.maven.org/maven2/com.twitter.elephantbird/elephant-bird-rcfile/3.0.8/com/twitter/elephantbird/pig/store/RCFilePigStorage.java

有人能告诉我如何编译它并在我的猪代码中使用它吗？

Answer 1

包括所有 twitter 依赖项和 pig jar 并编译 RCFilePigStorage.java。如果您想更改代码中的某些特定行为，也可以进行更改并将其重命名为 MyRCFilePigStorage.java。

现在获取编译后生成的类文件，并创建一个名为 MyRCUdf.jar 的 jar 文件。在你的 pigscript 中注册这个 jar。

Register MyRCUdf.jar;
* your pig logic*
Store 'data' using MyRCFilePigStorage();

编辑：考虑 twitter 依赖项的以下链接。获取源代码，编译并包含类路径中生成的类

https://github.com/kevinweil/elephant-bird/blob/master/core/src/main/java/com/twitter/elephantbird/mapreduce/input/MapReduceInputFormatWrapper.java

https://github.com/kevinweil/elephant-bird