问题标签 [spark-jobserver]

我正在使用 Spark Job Server 运行 Spark 作业，它运行良好。但是当我尝试执行一项大工作（需要超过 40 秒）时，我收到此错误：

是否需要一些配置才能等待服务器回答？我该怎么办？

谢谢

我是 Spark 的新用户。我有一个 Web 服务，允许用户通过从数据库中读取并将结果推回数据库来请求服务器执行复杂的数据分析。我已将这些分析转移到各种 Spark 应用程序中。目前我使用 spark-submit 来部署这些应用程序。

但是，我很好奇，当我的 Web 服务器（用 Java 编写）收到用户请求时，启动相应 Spark 应用程序的“最佳实践”方式是什么？Spark 的文档似乎是使用“spark-submit”，但我宁愿不将命令输出到终端以执行此操作。我看到了一个替代方案，Spark-JobServer，它提供了一个 RESTful 接口来执行此操作，但我的 Spark 应用程序是用 Java 或 R 编写的，这似乎与 Spark-JobServer 的接口不太好。

是否有另一种最佳实践可以从 Web 服务器（Java 中）启动 spark 应用程序，并等待作业成功或失败的状态结果？

任何关于其他人正在做什么来实现这一点的想法都会非常有帮助！谢谢！

我一直在使用 spark-shell 尝试火花。我所有的数据都在sql中。

现在，当我通过 jobserver 运行独立作业时。我收到以下错误消息

我已将 jar 文件包含在我的 local.conf 文件中，如下所示。上下文设置 { ..... 依赖 jar-uris = ["file:///absolute/path/to/the/jarfile"] ...... }

刚开始试验 JobServer 并想在我们的生产环境中使用它。

我们通常在 yarn-client 模式下单独运行 spark 作业，并希望转向 Ooyala Spark JobServer 提供的范例。

我能够运行官方页面中显示的 WordCount 示例。我尝试运行将我们的自定义 Spark 作业提交到 Spark JobServer，但出现此错误：

我进行了必要的代码修改，例如扩展 SparkJob 和实现 runJob() 方法。

这是我使用的 dev.conf 文件：

另外，如何为 spark 作业提供运行时参数，例如 --files、--jars ？例如，我通常像这样运行我们的自定义 Spark 作业：

我的 Apache 作业服务器和 SparkJob 的 .jar 有问题。我有带 DataStax 的 VirtualBox。有 Cassandra 和 Spark。我从git job-server安装 Apache job -server 。我想运行示例，所以我编写sbt job-server-tests/package并接下来从终端运行作业服务器sbt re-start

来自工作服务器工作的示例

1. curl --data-binary @/home/job-server/job-server-tests/target/job.jar localhost:8090/jars/test
2. curl -d "" 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.LongPiJob'

问题是当我制作我的 .jar 时，我在带有 Scala IDE 的 Windows 上使用 eclipse。我安装了 sbteclipse 插件，并C:\Users\user\scalaWorkspace\LongPiJob用 scala 项目创建了文件夹。我运行 cmd，转到此文件夹并运行sbt eclipse sbt compile和sbt package. 然后我将 .jar 复制到 VirtualBox。接下来我使用1。卷曲命令。当我使用2时。curl命令我得到一个错误

作业服务器 [错误] 线程“pool-25-thread-1”中的异常 java.lang.AbstractMethodError: com.forszpaniak.LongPiJob$.validate(Ljava/lang/Object;Lcom/typesafe/config/Config;)Lspark/作业服务器/SparkJobValidation；作业服务器 [错误] 在 spark.jobserver.JobManagerActor$$anonfun$spark$jobserver$JobManagerActor$$getJobFuture$4.apply(JobManagerActor.scala:225) 作业服务器 [错误] 在 scala.concurrent.impl.Future$PromiseCompletingRunnable .liftedTree1$1(Future.scala:24) job-server[ERROR] at scala.concurrent.impl.Future$PromiseCompletingRunnable.run(Future.scala:24) job-server[ERROR] at java.util.concurrent.ThreadPoolExecutor。 runWorker(ThreadPoolExecutor.java:1145) java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 作业服务器[错误] java.lang.Thread.run(Thread.run) 作业服务器[错误]爪哇：745）

在我启动服务器的终端中。在 curl 终端我得到

[root@localhost spark-jobserver]# curl -d "stress.test.longpijob.duration=15" 'localhost:8090/jobs?appNametestJob1.5&classPath=com.forszpaniak.LongPiJob' { "status": "ERROR", "结果“：{“消息”：“在[10000毫秒]之后，[Akka：//JobServer/user/context-supervisor/4538158c-com.forszpaniak.LongPiJob#-713999361]]上的询问超时”，“errorClass” ：“akka.pattern.AskTimeoutException”，“堆栈”：[“akka.pattern.PromiseActorRef$$anonfun$1.apply$mcV$sp(AskSupport.scala:333)”，“akka.actor.Scheduler$$anon$7.运行（Scheduler.scala:117）”，“scala.concurrent.Future$InternalCallbackExecutor$.scala$concurrent$Future$InternalCallbackExecutor$$unbatchedExecute（Future.scala:694）”，“scala.concurrent。Future$InternalCallbackExecutor$.execute(Future.scala:691)", "akka.actor.LightArrayRevolverScheduler$TaskHolder.executeTask(Scheduler.scala:467)", "akka.actor.LightArrayRevolverScheduler$$anon$8.executeBucket$1(Scheduler. scala:419)"、"akka.actor.LightArrayRevolverScheduler$$anon$8.nextTick(Scheduler.scala:423)"、"akka.actor.LightArrayRevolverScheduler$$anon$8.run(Scheduler.scala:375)"、"java .lang.Thread.run(Thread.java:745)"] }LightArrayRevolverScheduler$$anon$8.run(Scheduler.scala:375)", "java.lang.Thread.run(Thread.java:745)"] }LightArrayRevolverScheduler$$anon$8.run(Scheduler.scala:375)", "java.lang.Thread.run(Thread.java:745)"] }

我的 .jar 我使用来自示例 LongPiJob.scala 的代码。我已经搜索了有关此服务器错误的一些信息，我认为这可能是版本问题？

java.lang.AbstractMethodError: com.forszpaniak.LongPiJob$.validate(Ljava/lang/Object;Lcom/typesafe/config/Config;)Lspark/jobserver/SparkJobValidation;

我认为相反 Object 应该是 SparkContext ......

我使用 DataStax：4.6 作业服务器：0.5.1 scala：2.10.4 sbt：0.13 spark：1.1.0

我的测试代码

我是 Spark 世界和 Job Server 的新手

我的代码：

当我使用 spark-jobServer 推送 Jar 并执行它时，我在 spark-jobserver 终端上得到了这个

我已经将 $EXTRA_JAR 变量添加到我的 cassandra-spark-connector-assembly。

我正在尝试JobServer并希望在我们的生产环境中使用它。

我想一起使用mlliband spark-jobserver，但是我遇到了一个错误（在 spark-jobserver 上，当发送作业时）。

我正在使用spark-jobserver 0.5.0和spark 1.2。

有什么想法吗？

代码：

将 DSE 4.6 升级到 4.7 后，job-server-0.5.0 出现问题。如果我运行 server_start.sh，我会收到错误消息“无法在 /usr/share/dse/spark/assembly/target/scala-2.10 中找到 Spark 程序集，您需要在运行此程序之前构建 Spark。”

我在 /usr/share/dse/spark/bin/compute-classpath.sh 中找到

此代码引发错误

如果我运行 /usr/share/dse/spark/bin/spark-submit 我会得到同样的错误。

我想在与 Spark Master 不同的主机上部署Spark Job Server（在 Docker 容器中）。但是server_start.sh脚本似乎假设它与 Spark Master 在同一台机器上运行。例如：

在架构部分它说：

作业服务器旨在作为一个或多个独立进程运行，独立于 Spark 集群（尽管它很可能与 Master 位于同一位置）。

有谁知道如何使server_start.sh脚本与托管在与 Spark Job Server 不同的机器上的 Spark Master 一起工作？

所以我试图创建一个本地的 spark jobserver 实例来测试作业，但我什至无法让它运行。

所以当我进入我的 vagrant 实例时，我做的第一件事就是启动 spark。我知道这很有效，因为我使用它提供的提交作业实用程序提交作业以激发火花。然后我去我的本地 spark-jobserver 克隆并运行

在另一个终端中，我 ssh 进入 vagrant 实例并运行

这就是我的 config/local.conf 中的内容