5

我正在使用 NodeJs 构建一个实时统计应用程序。对于原型,我在 RackSpace 服务器中使用四核 AMD Opteron 来测试使用 Cluster NodeJs ( http://learnboost.github.com/cluster/ ) 的 nodejs 服务器和使用本机 nodejs 驱动程序的 MongoDb .

基本上,我在我的公司项目中插入了一个 JS 代码,它为一堆客户的网站提供内容。此代码每 10 秒“ping”一次我的服务器,调用图像并传递我在服务器端获取并在 MongoDb 集合中插入(或更新)的参数。在一天中的“慢”时间里,我每次获得大约 3000 个连接(我使用终端上的 netstat -natp 命令获得这些连接),这使我的集群使用每个核心的大约 25%(我使用“top”命令获得这些连接) )。但是在“忙碌”的时间里,我每次都会获得大约 7000 多个连接,这让我的集群变得疯狂(每个核心的使用率大约 80% 以上),而且似乎随着时间的推移,节点会降级。这是正常的吗?还是 Nodejs 应该以更“简单”的方式处理这些命中?如果我使用Mongoose,性能可以提高吗?

如果您对 MongoDb 感到好奇,它使用了大约 4% 的一个内核,这对我来说很好(没有放置索引,使用率约为 50%+,但至少,索引解决了这个性能问题)。

非常感谢您的耐心,干杯。

编辑:

进行插入的代码如下所示: db.open(function(err, db) { });

return connect.router(function(app){
    app.get("/pingserver/:clientid/:event/:cachecontrol", function(req, res, next){
    event:'+req.params.event + ', cachecontrol:' + req.params.cachecontrol);
        var timestamp = new Date(); 
          switch(req.params.event) {
          case 'load':
              var params = url.parse(req.url, true).query;

              db.collection('clientsessions', function(err, collection)         {
                try {

                    var client = {
                        id: req.params.clientid,
                        state: req.params.event + 'ed',
                        loadTime: timestamp.getTime(),
                        lastEvent: req.params.event,
                        lastEventTime: timestamp.getTime(),
                        lastEventDate: timestamp.toString(),
                        events: [{
                            event: req.params.event,
                            timestamp: timestamp.getTime(),
                            date: timestamp.toString()
                        }],
                        media: {
                            id: params.media.split('|')[0] || null,
                            title: unescape(params.media.split('|')[1]) || null
                        },
                        project: {
                            id: params.project.split('|')[0] || null,
                            name: unescape(params.project.split('|')[1]) || null
                        },
                        origin: req.headers['referer'] || req.headers['referrer'] || '',
                        userAgent: req.headers['user-agent'] || null,
                        userIp: req.socket && (req.socket.remoteAddress || (req.socket.socket && req.socket.socket.remoteAddress)),
                        returningUser: false
                    };
                }catch(e) {console.log(e);}       
                 collection.insert(client, function(err, doc) {
                 });
              });
              break;

          case 'ping':
              db.collection('clientsessions', function(err, collection) {
                  collection.update({id: req.params.clientid}, { 
                                                     $set : { lastEvent: req.params.event 
                                                             ,lastEventTime: timestamp.getTime(),lastEventDate: timestamp.toString()}
                                                   }, {}, function(err, doc) {});
              });
              break;

          default:
              db.collection('clientsessions', function(err, collection) {
                  collection.update({id: req.params.clientid}, { 
                                                     $set : {state: req.params.event+'ed'
                                                            , lastEvent: req.params.event 
                                                            , lastEventTime: timestamp.getTime()}
                                                   , $push : { events : { event: req.params.event, timestamp: timestamp.getTime(), date: timestamp.toString() } } }, {}, function(err, doc) {});
              });

              break;
          }

          if (!transparent) {
              console.log('!transparent');
              transparent = fs.readFileSync(__dirname + '/../../public/images/transparent.gif', 'binary');
          }
          res.setHeader('Content-Type', 'image/gif');
          res.setHeader('Content-Length', transparent.length);

          res.end(transparent, 'binary');
      });
});
4

6 回答 6

2

这是正常的吗?

取决于,连接会自行消失吗?他们只是继续建造吗?您是在谈论“网络连接”(http)还是 MongoDB 连接?

mongod日志说什么?node日志说什么?

你每秒收到多少个请求?

还是 Nodejs 应该以更“简单”的方式处理这些命中?

很难说不知道代码在做什么。

您希望盒子可以处理多少个同时连接?

如果我使用Mongoose,性能可以提高吗?

所以 Mongoose 实际上是一个围绕node-mongodb-native驱动程序的对象包装器。它不是一个不同的驱动程序,它只是一个包装器。

包装器会将代码添加到您已有的代码中。如果您遇到代码问题,则不能保证添加代码会使问题变得更好。如果猫鼬确实解决了你的问题,那么它正在做一些你没有的连接。如果是这种情况,您不一定需要 Mongoose,您只需要更好的连接管理。


看看有很多潜在的来源可以解决您的问题。

解决这个问题的唯一方法是分解碎片并深入挖掘更多细节。开始的地方: - 与 MongoDB 的连接是否正确关闭(查看数据库日志)?- 日志是否包含任何其他错误?- 对节点日志做同样的事情吗?- 你有关于内存使用的图表吗?谁占用的内存最多?- 当你达到每个核心的 80% 时,哪个进程在执行此操作?mongod? node? 别的东西?

为了真正帮助您,我们需要更多有关系统运行情况的数据。

于 2011-05-07T00:52:47.880 回答
1

Node 的http服务器默认有 keep-alive。在您的情况下,它会导致太多无用的连接。只需尝试将标头添加到disable Keep-Alive- 带有集群的普通节点就可以了。

res.setHeader("Connection", "close")
于 2012-02-14T16:15:57.860 回答
1

连续请求可能非常昂贵,特别是如果它们之间的超时时间很小。在您的情况下,您每秒接受约 300-700+ 个并发请求,您的系统负载可能取决于您正在处理的内容。您可以尝试切换到 Mongoose,但是如果它适用于您的场景,我宁愿查看图像处理和缓存,因为 DB 似乎不是您的瓶颈(尽管 DB 驱动程序也可能是问题)。

于 2011-05-06T07:09:35.753 回答
1
if (!transparent) {
          console.log('!transparent');
          transparent = fs.readFileSync(__dirname + '/../../public/images/transparent.gif', 'binary');
      }

透明错误的频率是多少?我没有看到它在代码中定义。您正在阻止同步磁盘 IO 上的整个 Node 进程,可能针对每个请求。为什么?如果您必须从磁盘读取文件,请异步执行。如果文件是静态的并且很小,也许你应该将它加载到内存中一次。

于 2011-05-10T20:00:13.093 回答
0

只是一个更新:

我已经删除了集群并在服务器上放置了一个 Nginx 层。因此“降级”需要更长的时间,但它仍在这样做,尤其是消耗了大量的系统 RAM 内存。有什么想法吗?

非常感谢所有的答案!

编辑:重新做了一些测试。我认为主要问题与打开的连接有关。当我在 Nginx 端口上运行 netstat 时,它显示为 2000 个连接。当我在每个 nodejs 应用程序端口上运行时,它会显示 2000(或更多)。基本上我的“最佳情况”是nodejs应用程序上的打开连接的总和将匹配Nginx端口上的打开连接,对吗?我认为这是主要问题,它影响了巨大的“time_wait”状态。

于 2011-05-12T12:52:56.933 回答
0

您可能还只想从缓冲区中提供透明 gif,如下所示:

https://gist.github.com/657246#comments

于 2012-03-19T18:47:44.933 回答