27

我想要以下

  • 在启动期间，主进程从文件中加载一个大表并将其保存到一个共享变量中。该表有 9 列和 1200 万行，大小为 432MB。
  • 工作进程运行 HTTP 服务器，接受对大表的实时查询。

这是我的代码，显然没有达到我的目标。

var my_shared_var;
var cluster = require('cluster');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
  // Load a large table from file and save it into my_shared_var,
  // hoping the worker processes can access to this shared variable,
  // so that the worker processes do not need to reload the table from file.
  // The loading typically takes 15 seconds.
  my_shared_var = load('path_to_my_large_table');

  // Fork worker processes
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
} else {
  // The following line of code actually outputs "undefined".
  // It seems each process has its own copy of my_shared_var.
  console.log(my_shared_var);

  // Then perform query against my_shared_var.
  // The query should be performed by worker processes,
  // otherwise the master process will become bottleneck
  var result = query(my_shared_var);
}

我尝试将大表保存到 MongoDB 中，以便每个进程都可以轻松访问数据。但是表太大了，即使有索引，MongoDB 也需要大约 10 秒才能完成我的查询。这太慢了，对于我的实时应用程序来说是不可接受的。我也尝试过 Redis，它将数据保存在内存中。但是 Redis 是一个键值存储，我的数据是一个表。我还写了一个 C++ 程序将数据加载到内存中，查询时间不到 1 秒，所以我想在 node.js 中进行模拟。

4

7 回答 7

16

如果我用几句话翻译您的问题，您需要与 WORKER 实体共享 MASTER 实体的数据。使用事件可以很容易地完成：

从大师到工人：

worker.send({json data});    // In Master part

process.on('message', yourCallbackFunc(jsonData));    // In Worker part

从工人到大师：

process.send({json data});   // In Worker part

worker.on('message', yourCallbackFunc(jsonData));    // In Master part

我希望通过这种方式您可以双向发送和接收数据。如果您觉得有用，请将其标记为答案，以便其他用户也可以找到答案。谢谢

于 2016-04-04T08:15:54.313 回答
9

您正在寻找node.js 不支持的共享内存。您应该寻找替代方案，例如查询数据库或使用memcached。

于 2012-06-09T23:54:07.383 回答
6

在 node.js 中，fork 的工作方式与 C++ 不同。它不是复制进程的当前状态，而是运行新进程。因此，在这种情况下，变量不共享。每行代码都适用于每个进程，但主进程将 cluster.isMaster 标志设置为 true。您需要为每个工作进程加载数据。如果您的数据非常庞大，请小心，因为每个进程都有自己的副本。我认为您需要在需要时立即查询部分数据，或者在内存中确实需要它们时等待。

于 2012-06-09T23:54:25.560 回答
6

如果只读访问适合您的应用程序，请尝试我自己的共享内存模块。它mmap在幕后使用，因此数据在访问时加载，而不是一次全部加载。内存在机器上的所有进程之间共享。使用它非常简单：

const Shared = require('mmap-object')

const shared_object = new Shared.Open('table_file')

console.log(shared_object.property)

它为您提供了一个常规的对象接口，用于连接字符串或数字的键值存储。它在我的应用程序中非常快。

还有一个可用于测试的模块的实验性读写版本。

于 2016-03-10T06:40:54.767 回答
2

您可以使用 Redis。

Redis 是一个开源、BSD 许可的高级键值缓存和存储。它通常被称为数据结构服务器，因为键可以包含字符串、散列、列表、集合、排序集合、位图和超日志。

redis.io

于 2015-03-25T09:02:33.403 回答
0

这种方式可以“共享一个变量”；它比@Shivam 呈现的方式更花哨。但是，该模块在内部使用相同的 API。因此，“共享内存”有点误导，因为集群中的每个进程都是父进程的一个分支。在分叉时，进程内存在操作系统内存中复制。因此，除了像 shm 设备或虚拟共享内存页面（Windows）这样的低级共享内存之外，没有真正的共享内存。我确实为 Node.js 实现了一个本机模块，它确实使用了本机共享内存（这是真实的共享内存），因为使用这种技术，两个进程都直接从操作系统共享内存部分读取。但是，此解决方案在这里并不适用，因为它仅限于标量值。您当然可以 JSON.stringify 并共享 JSON 序列化数据字符串，但解析/字符串化所消耗的时间对于大多数用例来说完全不理想。（特别是对于较大的对象，使用标准库实现对 JSON 进行解析/字符串化变得非线性）。

因此，这个解决方案似乎是目前最有希望的：

const cluster = require('cluster');
require('cluster-shared-memory');

if (cluster.isMaster) {
  for (let i = 0; i < 2; i++) {
    cluster.fork();
  }
} else {
  const sharedMemoryController = require('cluster-shared-memory');
  // Note: it must be a serializable object
  const obj = {
    name: 'Tom',
    age: 10,
  };
  // Set an object
  await sharedMemoryController.set('myObj', obj);
  // Get an object
  const myObj = await sharedMemoryController.get('myObj');
  // Mutually exclusive access
  await sharedMemoryController.mutex('myObj', async () => {
    const newObj = await sharedMemoryController.get('myObj');
    newObj.age = newObj.age + 1;
    await sharedMemoryController.set('myObj', newObj);
  });
}
于 2021-12-14T17:46:20.533 回答
0

这个问题是在 2012 年发布的，正好是 10 年前。由于没有其他答案提到它，Node.js 现在支持支持共享内存的工作线程。

直接来自文档：

工作者（线程）对于执行 CPU 密集型 JavaScript 操作很有用。与 child_process 或 cluster 不同，worker_threads 可以共享内存。他们通过传输 ArrayBuffer 实例或共享 SharedArrayBuffer 实例来做到这一点。

于 2022-02-01T16:38:36.897 回答