10

我正在使用一个包装了 posix 实时扩展来获取 MessageQueues 的 python 模块。

这是python代码

#!/usr/bin env python
import uuid
import posix_ipc
import time

def spawn():
    return posix_ipc.MessageQueue("/%s" % uuid.uuid4(), flags=posix_ipc.O_CREAT)

i = 0
while True:
    i += 1
    spawn()
    print(i)

这将在报告之前创建大约 10 个 mqsOSError: This process already has the maximum number of files open

我查看了 mq 限制和 rlimit 并检查它们是否都设置得非常高。例如

fs.file-max = 2097152
fs.mqueue.msg_max = 1000
fs.mqueue.queues_max = 1000

即使对于特权用户，它仍然只会创建大约 10 个队列。

直接使用实时扩展的等效 C 如下

#include <stdlib.h>
#include <stdio.h>
#include <string.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <errno.h>
#include <mqueue.h>

#define handle_error(msg) \
    do { perror(msg); exit(EXIT_FAILURE); } while (0)

int main(int argc, char **argv)
{
    mqd_t mq;
    struct mq_attr attr;
    char buffer[1024 + 1];
    int must_stop = 0;

    /* initialize the queue attributes */
    attr.mq_flags = 0;
    attr.mq_maxmsg = 10;
    attr.mq_msgsize = 1024;
    attr.mq_curmsgs = 0;

    /* create the message queue */
    int count = 0;
    char name[5];
    while (1) {
        sprintf(name, "/%d", count);
        mq = mq_open(name, O_CREAT | O_RDONLY, 0644, &attr);
        if (mq == (mqd_t) -1)
            handle_error("mq_open");
        count++;

    }
    return 0;
}

（编译gcc -lrt test.c）但这一次只能让我打开 20 个 mqs。实际上，我希望一次打开几百甚至一千个。

有人有任何想法或建议吗？

编辑：C 版本中更好的错误检查。还是满分。

4

1 回答 1

8

该参数fs.mqueue.queues_max只是系统中允许的全局消息队列数。您达到的限制是每个进程的消息队列数。因为mq_open说关于错误代码：

[EMFILE] 此进程当前正在使用太多消息队列描述符或文件描述符。

您通常应该能够使用getrlimit/读取（一组）每个进程的限制setrlimit。手册页rlimit说：

RLIMIT_MSGQUEUE（自 Linux 2.6.8 起）

指定可以为调用进程的真实用户 ID 的 POSIX 消息队列分配的字节数限制。对 mq_open(3) 强制执行此限制。根据以下公式，用户创建的每个消息队列都针对此限制进行计数（直到它被删除）：

bytes = attr.mq_maxmsg * sizeof(struct msg_msg *) +
        attr.mq_maxmsg * attr.mq_msgsize

其中 attr 是指定为 mq_open(3) 的第四个参数的 mq_attr 结构。

公式中的第一个加数包括 sizeof(struct msg_msg *)（在 Linux/i386 上为 4 个字节），确保用户不能创建无限数量的零长度消息（尽管这样的消息每个都消耗一些系统内存来记账开销）。

您还可以尝试读取该值并将其乘以您需要的值：

struct rlimit limit;

getrlimit(RLIMIT_MSGQUEUE, &limit);
limit.rlim_cur *= 20;
limit.rlim_max *= 20;
setrlimit(RLIMIT_MSGQUEUE, &limit);
于 2016-11-04T11:20:32.363 回答