1

我一直在使用带有 Jobserver 的独立 Spark 服务器。出于 x 的原因，我不得不迁移到 Ambari 集群，然后像 Livy 一样，我认为使用它而不是 Jobserver 更好。

现在，我在尝试将我的实际 Java Jobserver 代码迁移到 Livy 时迷失了方向。我已经阅读了 Livy 文档，这就是我发现的：

在 Livy 中，您可以执行类似于 Jobserver 中的 Ad-Hoc 模式的批处理。还有会话，每个会话可以使用单个 Spark 上下文来执行语句。我对吗？

  • 有没有一种方法可以像在 Jobserver 中一样以同步的方式执行批处理或语句，因此只需一个请求即可获得结果？实际上我只能看到异步模式。
  • 在 Jobserver 中，您可以引用实现您的功能的 java 类，而这个只需要实现该类，JSqlJob<String>然后作业服务器就知道它必须执行run()该类的方法。但在 Livy 中，我尝试执行 Pi 计算，但它失败了。

我使用以下卷曲：curl -X POST -d '{ "file": "hdfs://a1:8020/user/value_iq/Livy_Pi_Example-1.0-SNAPSHOT-dep.jar", "className": "value_iq.viq.PiJob","proxyUser": "hdfs", "name": "Livy Pi Example", "conf": {"executorCores":1, "executorMemory":"2G", "driverCores":1, "driverMemory":"512m", "queue":"uno"}, "args" : ["100"] }' -H "Content-Type: application/json" -H "X-Requested-By: admin" http://ambari.value-iq.com:8999/batches

java.lang.NoSuchMethodException: value_iq.viq.PiJob.main([Ljava.lang.String;)
    at java.lang.Class.getMethod(Class.java:1786)
    at org.apache.spark.deploy.yarn.ApplicationMaster.startUserApplication(ApplicationMaster.scala:641)
    at org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:416)
    at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:282)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:768)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:67)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:66)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
    at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:66)
    at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:766)
    at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)

我需要在这样的主要方法中实现什么？

这是我的java类：

package value_iq.viq;

import java.util.*;

import org.apache.spark.api.java.function.*;

import org.apache.livy.*;

public class PiJob implements Job<Double>, Function<Integer, Integer>,
  Function2<Integer, Integer, Integer> {

  private final int samples;

  public PiJob(int samples) {
    this.samples = samples;
  }

  @Override
  public Double call(JobContext ctx) throws Exception {
    List<Integer> sampleList = new ArrayList<Integer>();
    for (int i = 0; i < samples; i++) {
      sampleList.add(i + 1);
    }

    Integer max = ctx.sqlctx().sql("select max(id) from livy_test").takeAsList(1).get(0).getInt(0) + 1;

    ctx.sqlctx().sql("insert into livy_test values("+max+", now())");

    return 4.0d * ctx.sc().parallelize(sampleList).map(this).reduce(this) / samples;
  }

  @Override
  public Integer call(Integer v1) {
    double x = Math.random();
    double y = Math.random();
    return (x*x + y*y < 1) ? 1 : 0;
  }

  @Override
  public Integer call(Integer v1, Integer v2) {
    return v1 + v2;
  }

我从https://livy.incubator.apache.org/docs/latest/programmatic-api.html获得了这个类，它说：要使用 Livy 提交此代码，请创建一个 LivyClient 实例。我是否必须创建另一个 jar 文件才能上传带有 Pi Job 的文件？？？我不能像我正在尝试的那样上传jar并在curl中指定java类吗？

4

0 回答 0