我一直在寻找 PaaS 提供商一段时间,nodejitsu 看起来很有希望,但没有提供我正在寻找的一些功能。我需要能够为我的很多请求快速处理大量数据。我对 node.js 有了一个良好的开端,但我想做的是启动任务以抓取 Web 数据,从数据库信息中处理一些统计数据(基本上是花名册)。
基本上我正在抓取人们的社交媒体(Facebook、twitter、tumblr 等)以确定他们在我的网络服务上获得了多少演示文稿,然后将他们的最新内容(图像和短文本)提供给观众。最后,这会为每个请求创建大量操作,因为我需要比较许多不同艺术家的统计数据。
我想象做的是这样的:
- 处理请求。服务模板。
- 启动网络抓取任务或任务(为每个社交媒体启动一项任务,还是只为所有人启动一项?)
- 启动任务以查询数据库。
- 处理任务输出。并响应 ajax 长轮询,或通过 Web 套接字提供处理后的数据。重复直到完成所有任务。
这是我希望在 heroku 上部署的结构,因此我可以使用处理 dynos 来释放 web dynos,这样用户就不会在黑暗中等待页面加载。在高流量时,一些用户可能不得不等待页面填充内容,但在大多数情况下,内容将在页面呈现后不久开始填充。如果不是,那些只想立即导航到另一个页面的用户就不会等待站点完成响应。
所以基本上我的问题是我如何利用工人测功机来释放节点中的网络测功机?还是有更好的方法来做到这一点?
抱歉有任何马虎,这是在我的平板电脑上输入的。