我开发了一个 Web 应用程序，用户可以在其中选择机器学习框架/迭代次数/其他一些调整参数。如何通过将所有输入和显示响应传递给用户来从用户界面调用 Spark 作业。根据框架（dl4j/spark mllib/H2o），用户可以上传输入 csv，也可以从 Cassandra 读取数据。
- 如何从用户界面调用 SPARK 作业？
- 如何将结果显示给用户？
请帮忙。
问问题
286 次
1 回答
1
你可以看看这个github 存储库。
在这种情况下，只要 GET 请求到达，它就会从 Cassandra 中取出数据，然后收集数据并将其作为响应返回。
所以在你的情况下：
您可以做的是，一旦收到 POST 请求，您就可以从请求中获取参数并使用这些参数执行相应的操作，并在主服务器上收集结果，然后将其作为响应返回给用户.
PS：在Master上采集有点棘手，大量数据会导致OOM。您可以做的是将结果保存在 hadoop 上并将 URL 发送回结果或类似的东西。
有关更多信息，请查看与此 github 相关的博客： https ://blog.knoldus.com/2016/10/12/cassandra-with-spark/
于 2016-11-24T05:04:44.787 回答