apache-spark - 来自 Web 应用程序的 Spark 机器学习设计模型

Question

我开发了一个 Web 应用程序，用户可以在其中选择机器学习框架/迭代次数/其他一些调整参数。如何通过将所有输入和显示响应传递给用户来从用户界面调用 Spark 作业。根据框架（dl4j/spark mllib/H2o），用户可以上传输入 csv，也可以从 Cassandra 读取数据。

1. 如何从用户界面调用 SPARK 作业？
2. 如何将结果显示给用户？

请帮忙。

Answer 1

你可以看看这个github 存储库。

在这种情况下，只要 GET 请求到达，它就会从 Cassandra 中取出数据，然后收集数据并将其作为响应返回。

所以在你的情况下：

您可以做的是，一旦收到 POST 请求，您就可以从请求中获取参数并使用这些参数执行相应的操作，并在主服务器上收集结果，然后将其作为响应返回给用户.

PS：在Master上采集有点棘手，大量数据会导致OOM。您可以做的是将结果保存在 hadoop 上并将 URL 发送回结果或类似的东西。

有关更多信息，请查看与此 github 相关的博客： https ://blog.knoldus.com/2016/10/12/cassandra-with-spark/