3

任何人都可以建议我更好的关于 spark-jobserver 的文档。我已经浏览了 url spark-jobserver但无法遵循相同的。如果有人逐步解释如何使用 spark-jobserver 会很棒。

用于构建项目的工具。

  • sbt 启动器版本 0.13.5
  • Scala 代码运行器版本 2.11.6

使用上述工具，我在构建 spark-jobserver 时遇到错误。

4

2 回答 2

3

jobserver repo 中提供的文档确实令人困惑。

这是我在本地机器上手动构建和运行 Spark Job Server 所遵循的步骤。

1. git clone https://github.com/spark-jobserver/spark-jobserver
2. sudo mkdir -p /var/log/job-server
3. sudo chown user1:user1 /var/log/job-server
4. cd spark-jobserver
5. sbt job-server/assembly
6. cd config
7. cp local.sh.template abc.sh  # Note that the same name 'abc' is used in steps 8 and 10 as well
8. cp ec2.conf.template abc.conf
9. cd .. # The jobserver root dir
10. ./bin/server_package.sh abc # This script copies the files and packages necessary to run job server into a single dir [ default - /tmp/job-server]
11. cd /tmp/job-server [This is where the files and packages necessary to run job server are published by default]
12. ./server_start.sh
13. Run ./server_stop.sh to stop the server

希望这可以帮助

于 2016-01-19T23:28:36.673 回答
2

以下是我用来安装的步骤：

  1. 克隆作业服务器存储库。
  2. 使用 sbtwget https://dl.bintray.com/sbt/native-packages/sbt/0.13.8/sbt-0.13.8.tgz
  3. 将 sbt/bin 中的“sbt-launch.jar”移动到 /bin
  4. 创建一个脚本 /bin/sbt，内容在这里找到，如果需要，确保将指针更改为 java
  5. 使上述脚本可执行
  6. 现在 cd 进入 spark jobserver 目录，然后运行sbt publish-local
  7. 假设上面是成功的，sbt在同一目录下运行
  8. 最后，使用命令re-start，如果成功，服务器现在正在运行！
于 2015-08-05T19:28:18.707 回答