我在 Bluemix 中使用 Apache Spark。我想为 sparksql 作业实现调度程序。我看到这个链接到一个描述日程安排的博客。但不清楚如何更新清单。也许还有其他方法可以安排我的工作。
问问题
219 次
1 回答
1
清单文件用于指导 Cloud Foundry (cf) 应用程序的部署。因此，在您的情况下，听起来您想部署充当 SparkSQL 调度程序的 cf 应用程序，并使用清单文件声明您的应用程序不需要任何 Web 应用程序路由内容，或面向用户的应用程序的任何其他内容，因为您只想运行后台调度程序。这一切都很好，cf 文档将帮助您实现这一目标。
但是，您现在无法为 Bluemix Spark 服务运行 SparkSQL 调度程序，因为它仅通过 Bluemix 的 Data-Analytics 部分支持 Jupyter notebook；即，只有一个笔记本用户界面。您需要一个可以从调度程序 cf 应用程序驱动的 Spark API；例如 spark-submit 类型的东西，您可以在其中创建 Spark 上下文，然后运行程序，例如您提到的 SparkSQL。这个 API 应该会出现在 Apache Spark Bluemix 服务中。
更新：spark-submit在 2016 年第一季度末左右的某个时间提供。它是一个 shell 脚本，但在它内部通过curl. 似乎还不支持 REST API，但是您可以在调度程序中调用脚本，或者冒险直接调用 REST API 并希望它不会改变并破坏您。
于 2015-11-18T20:06:24.063 回答