1

如何在本地使用 pig 脚本从 kinesis 流中提取数据。

我从 amazon 文档中注意到了这个示例,但不确定如何导入 amazon kinesis pig 库,并且该示例似乎不完整。我在哪里设置凭据,我在哪里可以获得 kinesis 库的 jar ......等等......他们的例子来自 grunt-shell,但我如何从我自己的机器上本地运行它?

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/kinesis-pig-generate-data.html

REGISTER ./lib/piggybank.jar;

DEFINE EXTRACT org.apache.pig.piggybank.evaluation.string.EXTRACT();
DEFINE REGEX_EXTRACT org.apache.pig.piggybank.evaluation.string.RegexExtract();

raw_logs = load 'AccessLogStream' using com.amazon.emr.kinesis.pig.KinesisStreamLoader('kinesis.iteration.timeout=1') as (line:chararray);

DUMP raw_logs
4

0 回答 0