0

小型分工农场可行吗?

假设我们有 10 万个 URL,我们必须测试哪些 URL 仍然处于活动状态,哪些已经失效,并且我们正在尝试使用 javascript 尽快执行此操作,并随着工作的进行在 UI 中报告结果总数:

  Total URLs processed: ######   Dead URLs Found: ######    Timeouts: #######

我们是否可以创建一个 master worker,将 100K URLs 传递给它,然后该 worker 依次创建一个包含 100 个 minion sub-workers 的数组,向每个 minion 发送一个仅包含 1K 个项目的数组,并让每个 minion 对其列表进行 HEAD 请求URLs,向主服务器报告每个请求的请求状态(好、404 等);反过来,主人会定期向主窗口发布一条消息,在那里 UI 进度计数器会增加?

master worker 是否能够监听来自其 100 个 minions 的消息,并使用报告的进度计数(总处理、总死亡、总超时)成功更新其局部变量,而不会破坏事情?然后,假设每处理 100 个 url,master 会将这些计数发布回 UI?

4

0 回答 0