22

有没有办法做到这一点?例如,传递要处理的文件的名称等?

4

4 回答 4

41

这出现在另一个问题中,但是您可以在命令行上指定输入参数并在加载时使用它,例如:

命令行:

pig -f script.pig -param input=somefile.txt

脚本.猪:

原始 = LOAD '$input' AS (...);

请注意,如果您使用的是 Amazon Web Services Elastic Map Reduce,那么对于您提供的任何输入,“$input”就是传递给脚本的内容。

于 2010-11-13T01:40:41.577 回答
4

您可以使用...
1. 如果参数很少,则使用 -param (-p)
2. 如果参数很多,则使用 -param_file (-m)

您可以根据命令行参数值的性质使用任何一种方法,我在开发和测试脚本时使用 -param。一旦 pig 脚本准备好进行批处理或通过 crontab 运行,我使用 -param_file 以便如果需要任何更改,我可以轻松更新 params.init 文件。

man pig 将向您展示所有可用的选项。

-m, -param_file path to the parameter file
-p, -param key value pair of the form param=val

这是示例代码...

student.txt(输入数据)

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

params.init(保存所有参数的文件)

fileName='hdfs://horton/user/jgosalia/students.txt'
cityName='Chennai'

过滤器.pig

students = LOAD '$fileName' USING PigStorage(',') AS (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);
students = FILTER students BY city == '$cityName';
DUMP students;

OPT 1:在命令行上使用参数(-param 或 -p)和输出

pig -param fileName='hdfs://horton/user/jgosalia/students.txt' -param cityName='Chennai' filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

OPT 2:在命令行上使用参数文件(-param_file 或 -m)和输出

pig -param_file params.init filter.pig

... Trimming the logs ...

(6,Archana,Mishra,23,9848022335,Chennai)
(8,Bharathi,Nambiayar,24,9848022333,Chennai)

注意:对文件路径使用绝对路径(作为参数和将参数文件路径提供给 -param_file (-m) 时)。

于 2017-05-06T19:11:53.980 回答
2

将参数传递给 PIG 脚本很简单。

首先使用'$'在pig中标记你的变量,例如$input_file。然后使用 pig -params input_file='/path/to/data' 将参数传递给您的脚本

更多信息请看这里:http ://wiki.apache.org/pig/ParameterSubstitution

于 2014-01-09T17:13:35.263 回答
-1

是的。

您可以使用 pig 的选项沿命令行选项传递参数param

--customparam.pig
--load hdfs/local fs data 
 original = load '$input' using PigStorage('$delimiter');
--filter a specific field value into another bag  
 filtered = foreach original generate $split; 
--storing data into hdfs/local fs 
  store filtered into '$output';

pig -x local -f customparam.pig -param input=Pig.csv -param output=OUT/pig -param delimiter="," -param split='$1'

欲了解更多信息:检查这个

于 2014-07-29T04:31:49.783 回答