如何在本地使用 pig 脚本从 kinesis 流中提取数据。
我从 amazon 文档中注意到了这个示例,但不确定如何导入 amazon kinesis pig 库,并且该示例似乎不完整。我在哪里设置凭据,我在哪里可以获得 kinesis 库的 jar ......等等......他们的例子来自 grunt-shell,但我如何从我自己的机器上本地运行它?
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/kinesis-pig-generate-data.html
REGISTER ./lib/piggybank.jar;
DEFINE EXTRACT org.apache.pig.piggybank.evaluation.string.EXTRACT();
DEFINE REGEX_EXTRACT org.apache.pig.piggybank.evaluation.string.RegexExtract();
raw_logs = load 'AccessLogStream' using com.amazon.emr.kinesis.pig.KinesisStreamLoader('kinesis.iteration.timeout=1') as (line:chararray);
DUMP raw_logs