我有一个使用 Meteor Up to Digital Ocean 部署的 Meteor (0.8.0) 应用程序,该应用程序一直停留在 100% CPU,只是因为内存不足而崩溃,然后以 100% CPU 再次启动。在过去的 24 小时里,它一直处于这样的状态。奇怪的是没有人使用服务器,meteor.log 没有显示太多线索。我有用于数据库的带有 oplog 的 MongoHQ。
数字海洋规格:
1GB Ram 30GB SSD 磁盘纽约 2 Ubuntu 12.04.3 x64
截图显示问题:
请注意,屏幕截图是昨天捕获的,它一直保持在 100% cpu,直到它因内存不足而崩溃。日志显示:
致命错误:疏散分配失败 - 进程内存不足错误:永远检测到的脚本被信号杀死:SIGABRT 错误:永远重新启动脚本 5 次
热门展示:
26308 流星 20 0 1573m 644m 4200 R 98.1 64.7 32:45.36 节点
它是如何开始的:我有一个应用程序,它通过 csv 或 mailchimp oauth 接收电子邮件列表,通过他们的批处理调用http://www.fullcontact.com/developer/docs/batch/将它们发送给 fullcontact ,然后更新Meteor 会根据响应状态进行相应的收集。来自 200 响应的片段
if (result.statusCode === 200) {
var data = JSON.parse(result.content);
var rate_limit = result.headers['x-rate-limit-limit'];
var rate_limit_remaining = result.headers['x-rate-limit-remaining'];
var rate_limit_reset = result.headers['x-rate-limit-reset'];
console.log(rate_limit);
console.log(rate_limit_remaining);
console.log(rate_limit_reset);
_.each(data.responses, function(resp, key) {
var email = key.split('=')[1];
if (resp.status === 200) {
var sel = {
email: email,
listId: listId
};
Profiles.upsert({
email: email,
listId: listId
}, {
$set: sel
}, function(err, result) {
if (!err) {
console.log("Upsert ", result);
fullContactSave(resp, email, listId, Meteor.userId());
}
});
RawCsv.update({
email: email,
listId: listId
}, {
$set: {
processed: true,
status: 200,
updated_at: new Date().getTime()
}
}, {
multi: true
});
}
});
}
在本地运行 Vagrant 的 Windows 笔记本电脑上,我一次处理数十万封电子邮件没有任何性能问题。但是在 Digital Ocean 上,它似乎甚至无法处理 15,000(我已经看到 CPU 飙升到 100%,然后因 OOM 而崩溃,但在它出现之后它通常会稳定下来......这次不是)。让我担心的是,尽管应用程序上没有/很少活动,但服务器根本没有恢复。我已经通过查看分析验证了这一点 - GA 显示 24 小时内总共有 9 个会话,除了点击/弹跳之外,MixPanel 仅显示 1 个登录用户(我)在同一时间范围内。自从最初的失败以来,我唯一做的就是检查facts
包裹,它显示:
mongo-livedata 观察多路复用器 13 观察驱动程序-oplog 13
oplog-watchers 16 观察句柄 15 查询阶段花费的时间
87828 time-spent-in-fetching-phase 82 livedata
invalidation-crossbar-listeners 16 个订阅 11 个会话 1
Meteor APM 也没有显示任何异常,meteor.log 没有显示除了 OOM 和重启消息之外的任何流星活动。MongoHQ 没有报告任何运行缓慢的查询或大量活动 - 0 次查询、更新、插入、删除平均来自盯着他们的监控仪表板。据我所知,24 小时内没有太多活动,当然也没有任何密集的活动。从那以后,我尝试安装 newrelic 和 nodetime,但两者都不是很有效 - newrelic 没有显示任何数据,meteor.log 有一个 nodetime 调试消息
加载 nodetime-native 扩展失败。
因此,当我尝试使用 nodetime 的 CPU 分析器时,它会显示为空白,并且堆快照返回错误:未加载 V8 工具。
在这一点上我基本上没有想法,而且由于 Node 对我来说很新,所以感觉就像我在这里在黑暗中进行狂野刺伤。请帮忙。
更新:服务器在四天后仍然固定在 100%。即使是 init 6 也不会做任何事情 - 服务器重新启动,节点进程启动并跳回到 100% cpu。我尝试了其他工具,例如 memwatch 和 webkit-devtools-agent,但无法让它们与 Meteor 一起使用。
以下是 strace 输出
strace -c -p 6840
附加进程 6840 - 中断退出
^CProcess 6840 已分离
% time seconds usecs/call 调用错误 syscall
77.17 0.073108 1 113701 epoll_wait
11.15 0.010559 0 80106 39908 地图
6.66 0.006309 0 116907 读取
2.09 0.001982 0 84445
1.49 0.001416 0 45176 写入
0.68 0.000646 0 119975
0.58 0.000549 0 227402 时钟获取时间
0.10 0.000095 0 117617 rt_sigprocmask
0.04 0.000040 0 30471 epoll_ctl
0.03 0.000031 0 71428 获取时间
0.00 0.000000 0 36 mprotect
0.00 0.000000 0 4 制动
100.00 0.094735 1007268 39908 总计
所以看起来节点进程大部分时间都花在了 epoll_wait 上。