1

我正在尝试使用此项目中提供的 jpmml 级联库中的级联框架执行 pmml 模型https://github.com/jpmml/jpmml-cascading

我已按照所有步骤操作，并且能够使用 mvn clean install 命令生成example-1.2-SNAPSHOT-job.jar 。

但是，当我使用以下命令执行相同的 jar 时：

hadoop jar example-1.2-SNAPSHOT-job.jar /tmp/cascading/model.pmml file:///tmp/cascading/input.csv file:///tmp/cascading/output

我没有权限在默认队列上提交作业，因为我们的 hadoop 集群中的默认队列仅出于管理目的而被阻止，普通用户在不提供队列名称的情况下无法运行 hadoop 作业。

Exception:
16/01/06 04:41:37 ERROR ipc.FailoverRPC: FailoverProxy: Failing this Call: submitJob for error(RemoteException): org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): **User test cannot perform operation SUBMIT_JOB on queue default.**
 Please run "hadoop queue -showacls" command to find the queues you have access to .
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:179)
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:136)
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:113)
    at org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:4524)
    at sun.reflect.GeneratedMethodAccessor17.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.ipc.WritableRpcEngine$Server$WritableRpcInvoker.call(WritableRpcEngine.java:481)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2000)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1996)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1566)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1994)

我无法看到在存储库中的何处提供 hadoop 作业队列。

谁能建议我如何传递 hadoop 作业队列名称？

笔记：

  1. 我试图通过属性 mapred.job.queue.name 传递队列名称，但作业仍然通过命令行和代码本身显示相同的错误。

  2. 我还尝试使用 oozie shell 操作节点运行该作业并在应用程序工作流中传递队列名称，但我相信这仅适用于 oozie 作业，不适用于通过 shell 操作节点执行的 hadoop 作业。

4

1 回答 1

2

您使用了错误的设置。您应该使用Hadoop 2.x的设置。

以下配置属性（存在于 中mapred-site.xml）控制对作业队列的提交。

Hadoop 1.x

  • mapred.acls.enabled：是否应启用 ACL 检查以在执行队列操作时检查用户的权限。默认设置为false。

  • mapred.job.queue.name：提交作业的队列。默认值为default。

Hadoop 2.x

  • mapreduce.cluster.acls.enabled：是否应启用 ACL 检查以在执行队列操作时检查用户的权限。默认设置为false。

  • mapreduce.job.queuename：提交作业的队列。默认值为default。

您可以通过不同方式设置这些值：

  • -D在运行作业时在命令行中传递选项。例如，您可以将其传递为-Dmapreduce.job.queuename=default.

  • 在作业中设置它Driver（Hadoop 2.x）：

    Configuration conf = new Configuration();
conf.set("mapreduce.job.queuename", "default");
Job job = Job.getInstance(conf, "JobName");
  • 将其设置在mapred-site.xml集群的文件中。
于 2016-01-06T12:48:44.063 回答