apache-spark - 每小时在 Spark 作业服务器中安排自动 Spark 作业

Question

在DataStax Enterprise Edition 4.8中，Spark Jobserver 0.5.2 已针对支持的 Apache Spark 1.4.1.1 版本进行了专门编译。Spark 作业将从 Cassandra 读取数据并将汇总数据写入同一 Keyspace 中的另一个表中。

Spark Job 服务器中是否有任何功能可以安排作业在每小时后自动运行？

Answer 1

不幸的是，Spark Jobserver 目前没有任何安排作业的功能。

也许您可以使用cronlinux 上的任务自动运行curl命令以向 Jobserver 发送请求。