问题标签 [spark-jobserver]

我使用 sbt job-server-api/packages 和 sbt job-server-tests/packages 进行了构建。我可以使用 jar -cxf 命令扩展/解压缩 jar

我正在使用 SPARK 1.5 版。

我可以查看清单。猫清单文件

你能帮我解决jar格式问题吗？

当我尝试实例化 Spark Jobserver 时，我遇到了一个奇怪的问题。

似乎它正在查看错误的目录。有人知道这件事吗？也许我遗漏了一些东西，但目录/usr/share/dse/bin/dse根本不存在！

干杯

在我的公司，我们目前正在使用 Spark 解释器通过spark-jobserver动态生成类文件。这些类文件是在我们的 Spark 集群驱动程序上生成的，并保存到使用-Yrepl-outdir标准中的“”命令定义的目录（在该驱动程序上）中ScalaSettings。它代表了我们的执行程序的缓存，从那里加载类文件。

在标准设置下一切正常，每个驱动程序只有一个解释器，但是当我试图通过引入多个并行运行的解释器来提高性能时，就会出现问题。我使用 Akka 路由器设计模式，每个路由都有一个解释器，每个路由在自己的线程中运行，当然我碰壁了。即，这些解释器在评估类文件时在输出目录中覆盖彼此的结果。

我试图通过为每个解释器添加不同的输出目录来修复它，但在这种情况下，Spark 不会将这些输出目录识别为用于查找生成的类文件的目录。对于每个特定的解释器，我使用“ -Yrepl-outdir”命令定义了单独的输出目录，但不知何故这还不够。

我还尝试更改类加载器以修改那些生成的包/类的默认名称，每个包/类都以某些解释器唯一的前缀开头，但我还没有找到可行的解决方案。

由于要重现此问题，您需要运行 Spark 集群实例并以编程方式设置 Spark Scala 解释器，我将仅公开简化方法来展示我们生成的 Scala 解释器的一般情况：

在这里，您可以在左侧面板上看到我正在运行的解释器的一些简化输出，以及其中一个 ( $line3) 的内容。我认为可以解决我的问题的方法是为这些包提供自定义名称 - 而不是$line1, $line2, 等等类似的东西p466234$line1, p198934$line2，等等，每个解释器都有唯一的前缀。

那么，重命名由 Spark Scala 解释器生成的类文件/包的最简单方法是什么？这个问题还有其他解决方案吗？

我正在试用Spark 作业服务器- 特别是docker 容器选项。我能够在 spark 本地模式下运行 WordCountExample 应用程序。但是，当我尝试将应用程序指向远程 Spark 主服务器时遇到了异常。

以下是我用来运行 WordCountExample 应用程序的命令：

以下是我在运行上述第 4 步时遇到的异常：

我使用

远程集群使用Spark version 1.5.1（即预构建的二进制文件spark-1.5.1-bin-hadoop2.6）

问题

1. 关于如何调试它的任何建议？
2. 有没有我可以查看的日志来找出根本原因？

提前致谢。

我正在尝试将spark-jobserverdocker 容器中的实例部署并连接到 BlueMix Spark 服务。在本地，容器完美地使用命令启动docker -d -p 8090:8090 {image-name}，但看起来 BlueMixice -p命令的工作方式不同，只允许指定 BlueMix 端口。如何使该容器可从 BlueMix 获得？

您如何确定 max-jobs-per-context 设置的安全最大阈值，该设置控制在上下文中运行的并发 Spark 作业的数量？如果你走得太高会发生什么？默认设置为 8（请参见下面的链接），我想将其设置得更高，但我不确定如果设置得太高会发生什么。

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/main/resources/application.conf

我正在尝试./server_start.sh使用spark-jobserver运行，但它说

“缺少 /home/spark/spark-jobserver1.5.1/bin/settings.sh，正在退出”，

我还./server_start.sh从github中检查了详细信息，在那里我发现了这个（如下图所示）：在此处输入图像描述

这意味着setting.sh应该存在但不存在。

我运行一个带有本地 Hadoop 实例和 Spark-JobServer 的虚拟机。我在 HDFS 上创建了一个名为“test.txt”的文件，我想从 Spark-JobServer 打开它。我编写了以下代码来执行此操作：

但是，当我想运行这些行时，我在 Spark-JobServer 中遇到错误：

我查找了 HDFS 的路径hdfs getconf -confKey fs.defaultFS，它显示了我hdfs://quickstart.cloudera:8020作为路径。如果这是 HDFS 的正确路径，为什么我无法访问 test.txt 文件？如果这是错误的路径，我怎样才能找到正确的路径？

我用 IntelliJ 创建了一个 spark 作业，我希望它由 spark Job-Server 加载和运行。为此，我按照此链接中的步骤操作：http: //github.com/ooyala/spark-jobserver 我的 spark 版本是 1.4.0。

这是我项目中的 scala 代码：

但是当我执行它时，我得到 curl: (52) Empty reply from server with this error in spark job-server:

似乎火花 jar 文件 spark-assembly-1.4.0-hadoop1.0.4.jar 支持 HiveContext 类。

我有： - Hadoop - Spark JobServer - SQL 数据库

我创建了一个文件来从 Spark JobServer 的本地实例访问我的 SQL 数据库。为此，我首先必须使用以下命令加载我的 JDBC 驱动程序：Class.forName("com.mysql.jdbc.Driver");. 但是，当我尝试在 Spark JobServer 上执行该文件时，我收到一个 classNotFound 错误：

我已经读过，为了加载 JDBC 驱动程序，您必须更改 Spark JobServer 的 application.conf 文件或其 server_start.sh 文件中的一些配置。我这样做如下。在 server_start.sh 中，我更改了作为 spark-submit 命令发送的 cmd 值：

我还更改了启动实例时使用的 Spark JobServer 的 application.conf 文件的一些行：

但是找不到JDBC类的错误还是回来了。

已检查以下错误：

ERROR1：如果有人认为我只是有错误的文件路径（据我所知很可能就是这种情况），我已经检查了 HDFS 上的正确文件hadoop fs -ls hdfs://quickstart.cloudera:8020/user/cloudera/并且文件在那里：

ERROR2：我在 build.sbt 文件中加载了必要的依赖项：libraryDependencies += "mysql" % "mysql-connector-java" % "5.1.+"在我的 scala-file 中加载了 import 命令import java.sql._。

如何解决这个 ClassNotFound 错误？是否有任何替代 JDBC 连接 SQL 的好方法？