我的老板告诉我设置一个类似谷歌的界面,你输入一个关键字,然后按下按钮,它会将结果返回到屏幕。当您按下按钮时,hadoop 集群将在后面工作并返回结果。我已经设置了一个hadoop集群并使wordcount工作,但我不知道这个类似google的界面将如何与hadoop集群通信并制作合适的.jar然后返回结果。我有使用 Spring Framework 的经验,但如果您有其他建议,我愿意接受。感谢你的关心。
问问题
77 次
1 回答
1
如果你的老板要求你通过 Hadoop 来做这件事,他就犯了一个大错误。Hadoop 根本不适合搜索等实时数据。当您运行 Hadoop 作业时,它会导致一些初始延迟,因为在 Hadoop 实际开始处理之前,很多事情都发生在幕后。显然,您不希望您的用户在获得结果之前等待几秒钟(或者可能更多,取决于您的数据)。因此,如果您计划在用户提交搜索查询并期望在很短的时间内获得搜索结果时启动 Hadoop 作业,那么您就走错了路。
但是,您可以预先使用 Hadoop 以使您的应用程序更好。例如,您可以使用 MapReduce 作业更快地索引您的数据,并准备好在有人想要搜索某些内容时提供服务。
于 2013-08-20T19:23:46.837 回答