apache-pig - 将猪输出存储到 csv 文件中

Question

我有一个 csv 文件，我将其用作 Pig 脚本的输入。CSV 有类似的数据

1045 966 320189 1048 555 714067 1035 199 975050 1026 748 814808 1018 656 103141 1004 186 686093 1016 292 553100 1043 864 750624 1050 839 785765 1002 454 452221 1041 807 330616 1019 538 680915 1002 950 583977 1036 638 111509 1031 687 876615

我的剧本---

REGISTER /home/user/myudfs.jar;
A = LOAS 'new.csv' using PigStorage(',');
STORE A INTO '/home/user/result.csv'
USING CSVExcelStorage(',', 'NO_MULTILINE', 'WINDOWS');

我有一个带有内置类的 myudfs jar CSVExcelStorage。我在我的脚本中注册它。

执行脚本时出现错误

"ERROR 1070: Could not resolve myudfs.CSVExcelStorage using imports: [,org.apache.pig.builtin., org.apache.pig.impl.builtin.]"

请帮忙。

Answer 1

如果你在一个包下创建了 UDF 类，那么在 PIG 脚本中你应该给出 UDF 类的完全限定名，即

STORE A INTO '/home/user/result.csv'
USING HereGoesThePackageName.CSVExcelStorage(',', 'NO_MULTILINE', 'WINDOWS');