1

我正在从 ooyala 运行 spark-job-server 0.5.3。我遵循了他们的官方文档，当它由 sbt 使用 reStart 命令启动时它工作正常。但我不能

  1. 使用 server_start.sh 脚本使其工作。

  2. 无法在独立集群上运行它。它默认在本地 [*] 主机上工作，现在没有关于如何在独立集群上运行作业服务器的明确文档。

感谢任何解决方案或任何博客或适当文档的链接。

提前致谢。

4

1 回答 1

1

此处主要 Spark 作业服务器项目的文档：github.com/spark-jobserver

  • 将 config/local.sh.template 复制到 .sh 并根据需要进行编辑
    。注意：如果您需要针对不同的版本进行编译，请务必设置 SPARK_VERSION
    ，即。1.4.1 用于作业服务器 0.5.2
  • 将 config/shiro.ini.template 复制到 shiro.ini 并根据需要进行编辑。注意：仅当 authentication = on 时才需要
  • 将 config/local.conf.template 复制到 .conf 并根据需要进行编辑。bin/server_deploy.sh - 这会将作业服务器与配置文件一起打包，并将其推送到您在 .sh 中配置的遥控器
  • 在远程服务器上，使用 server_start.sh 在已部署的目录中启动它并使用 server_stop.sh 停止它
  • server_start.sh 脚本在后台使用 spark-submit，并且可以从 spark-submit 传递任何标准的额外参数。

注意：默认情况下，使用来自 job-server-extras 的程序集 jar，其中包括对 SQLContext 和 HiveContext 的支持。如果您遇到所有额外依赖项的问题，请考虑修改安装脚本以调用 sbt job-server/assembly，这不包括额外的依赖项。

于 2015-09-24T10:22:29.283 回答