13

我有一个使用 Meteor Up to Digital Ocean 部署的 Meteor (0.8.0) 应用程序,该应用程序一直停留在 100% CPU,只是因为内存不足而崩溃,然后以 100% CPU 再次启动。在过去的 24 小时里,它一直处于这样的状态。奇怪的是没有人使用服务器,meteor.log 没有显示太多线索。我有用于数据库的带有 oplog 的 MongoHQ。

数字海洋规格:

1GB Ram 30GB SSD 磁盘纽约 2 Ubuntu 12.04.3 x64

截图显示问题:

在此处输入图像描述

请注意,屏幕截图是昨天捕获的,它一直保持在 100% cpu,直到它因内存不足而崩溃。日志显示:

致命错误:疏散分配失败 - 进程内存不足错误:永远检测到的脚本被信号杀死:SIGABRT 错误:永远重新启动脚本 5 次

热门展示:

26308 流星 20 0 1573m 644m 4200 R 98.1 64.7 32:45.36 节点

它是如何开始的:我有一个应用程序,它通过 csv 或 mailchimp oauth 接收电子邮件列表,通过他们的批处理调用http://www.fullcontact.com/developer/docs/batch/将它们发送给 fullcontact ,然后更新Meteor 会根据响应状态进行相应的收集。来自 200 响应的片段

if (result.statusCode === 200) {
            var data = JSON.parse(result.content);
            var rate_limit = result.headers['x-rate-limit-limit'];
            var rate_limit_remaining = result.headers['x-rate-limit-remaining'];
            var rate_limit_reset = result.headers['x-rate-limit-reset'];
            console.log(rate_limit);
            console.log(rate_limit_remaining);
            console.log(rate_limit_reset);
            _.each(data.responses, function(resp, key) {
                var email = key.split('=')[1];
                if (resp.status === 200) {
                    var sel = {
                        email: email,
                        listId: listId
                    };
                    Profiles.upsert({
                        email: email,
                        listId: listId
                    }, {
                        $set: sel
                    }, function(err, result) {
                        if (!err) {
                            console.log("Upsert ", result);
                            fullContactSave(resp, email, listId, Meteor.userId());                            
                        }
                    });
                    RawCsv.update({
                        email: email,
                        listId: listId
                    }, {
                        $set: {
                            processed: true,
                            status: 200,
                            updated_at: new Date().getTime()
                        }
                    }, {
                        multi: true
                    });
                }
                });
                }

在本地运行 Vagrant 的 Windows 笔记本电脑上,我一次处理数十万封电子邮件没有任何性能问题。但是在 Digital Ocean 上,它似乎甚至无法处理 15,000(我已经看到 CPU 飙升到 100%,然后因 OOM 而崩溃,但在它出现之后它通常会稳定下来......这次不是)。让我担心的是,尽管应用程序上没有/很少活动,但服务器根本没有恢复。我已经通过查看分析验证了这一点 - GA 显示 24 小时内总共有 9 个会话,除了点击/弹跳之外,MixPanel 仅显示 1 个登录用户(我)在同一时间范围内。自从最初的失败以来,我唯一做的就是检查facts包裹,它显示:

mongo-livedata 观察多路复用器 13 观察驱动程序-oplog 13

oplog-watchers 16 观察句柄 15 查询阶段花费的时间

87828 time-spent-in-fetching-phase 82 livedata

invalidation-crossbar-listeners 16 个订阅 11 个会话 1

Meteor APM 也没有显示任何异常,meteor.log 没有显示除了 OOM 和重启消息之外的任何流星活动。MongoHQ 没有报告任何运行缓慢的查询或大量活动 - 0 次查询、更新、插入、删除平均来自盯着他们的监控仪表板。据我所知,24 小时内没有太多活动,当然也没有任何密集的活动。从那以后,我尝试安装 newrelic 和 nodetime,但两者都不是很有效 - newrelic 没有显示任何数据,meteor.log 有一个 nodetime 调试消息

加载 nodetime-native 扩展失败。

因此,当我尝试使用 nodetime 的 CPU 分析器时,它会显示为空白,并且堆快照返回错误:未加载 V8 工具。

在这一点上我基本上没有想法,而且由于 Node 对我来说很新,所以感觉就像我在这里在黑暗中进行狂野刺伤。请帮忙。

更新:服务器在四天后仍然固定在 100%。即使是 init 6 也不会做任何事情 - 服务器重新启动,节点进程启动并跳回到 100% cpu。我尝试了其他工具,例如 memwatch 和 webkit-devtools-agent,但无法让它们与 Meteor 一起使用。

以下是 strace 输出

strace -c -p 6840

附加进程 6840 - 中断退出

^CProcess 6840 已分离

% time seconds usecs/call 调用错误 syscall


77.17 0.073108 1 113701 epoll_wait

11.15 0.010559 0 80106 39908 地图

6.66 0.006309 0 116907 读取

2.09 0.001982 0 84445

1.49 0.001416 0 45176 写入

0.68 0.000646 0 119975

0.58 0.000549 0 227402 时钟获取时间

0.10 0.000095 0 117617 rt_sigprocmask

0.04 0.000040 0 30471 epoll_ctl

0.03 0.000031 0 71428 获取时间

0.00 0.000000 0 36 mprotect

0.00 0.000000 0 4 制动


100.00 0.094735 1007268 39908 总计

所以看起来节点进程大部分时间都花在了 epoll_wait 上。

4

3 回答 3

2

我有一个类似的问题。我不需要 Oplog,建议我添加流星包“disable-oplog”。所以我做到了,CPU使用率降低了很多。如果你没有真正利用 Oplog,最好禁用它,meteor add disable-oplog看看会发生什么。

我希望这有帮助。

于 2014-05-11T17:05:39.210 回答
0

- 你在使用 Meteor-up 吗?我也用纽约2

在我的本地环境中,带有 ubuntu 服务器的虚拟机只有 512 Mb 和 1 个核心。

我在 DigitalOcean 4 Gb RAM、2 核 VPS + Meteorup(当然还有我的应用程序)上遇到了同样的问题。

LOCAL ENVIROMENT on virtualbox - 1 CORE - 512 MB - New York 2 - ubuntu 14.04 x86.
-------------------------------------
>Meteor.js = 0.8.0,
>Node = 0.10.26,
>MongoDB shell version = 2.4.10,

>%CPU = 20.8 avg,
>%MEM = 27.4 avg

DIGITALOCEAN 4 GB RAM - 2 CPUS - ubuntu 14.04 x64.
-------------------------------------
>Meteor.js = 0.8.0,
>Node = 0.10.26,
>MongoDB shell version = 2.4.10,

>%CPU = 101.8 avg,
>%MEM = 27.4 avg

> PID meteoru+  20   0 1644244 796692   6228 R **102.2** **32.7**  84:47.08 node 

此外,我的应用程序与您的应用程序类似。我使用大气中的CFS包和 node-csv 来读取我上传的 CSV。上传效果很好,node-csv 也很好用....但我可以确认你是否是问题所在,它似乎是在 DigitalOcean 上运行的节点。我的 MongoDB 也很好用...

于 2014-04-30T03:30:41.630 回答
0

I was new with VPS and the first thing I tried to do is run my script. The problem was that I started the same server with node and pm2 a couple of times.

Solution

  1. run pm2 kill to kill all processes run by your process manager
  2. run killall node - to kill all running process if any remains
  3. run pm2 start <your_server>.js - to run your server again
于 2021-01-03T18:01:48.303 回答