apache-pig - 没有属性文件的嵌入式 Pig 程序

Question

我编写了一个嵌入式 Pig 程序，它在我的机器上执行并在服务器（hadoop 机器）上执行查询并存储结果。但在这我将 pig.property 文件提供给我的类路径。

我们可以在不提供 Pig.property 文件的情况下编写 Pig-Embedded 程序吗？

Answer 1

您可以使用 org.apache.pig.PigServer 从 Java 程序运行 pig 脚本。

PigServer pigServer = new PigServer(ExecType.MAPREDUCE);
pigServer.registerScript("scripts/test.pig");

在类路径上需要“pig.properties”。

fs.default.name=hdfs://: mapred.job.tracker=: 或者将 java.util.Properties 的实例传递给 PigServer 构造函数。

Properties props = new Properties();
props.setProperty("fs.default.name", "hdfs://<namenode-hostname>:<port>");
props.setProperty("mapred.job.tracker", "<jobtracker-hostname>:<port>");
PigServer pigServer = new PigServer(ExecType.MAPREDUCE, props);

还要检查这个