0

我正在使用在 Linux RedHat VM 上的 Python 3.7 上运行的 Python 守护程序。该程序的内容非常占用 CPU，所以我实现了多处理，线程太慢了。我需要使程序成为守护程序。

总而言之，守护进程查询数据库并将所有 id 排入队列。然后 process() 函数在每个生成的进程中运行。该代码对 1-2 个进程没有错误，但我们想运行大约 7 个。我简化了下面的代码。

当我使用 7 个进程运行程序时，出现以下错误...

回溯（最后一次调用）：文件“python_daemon_multiprocessv4.py”，第 77 行，进程中 cus_runid.execute(“QUERY REMOVED”)；文件“/PATH-REMOVED/jaydebeapi/ init .py”，第 498 行，执行自身._prep = self._connection.jconn.prepareStatement(operation) jpype._jexception.java.lang.NoClassDefFoundErrorPyRaisable: java.lang.NoClassDefFoundError: com/ibm/db2/jcc/am/dg

这是 db 连接上的错误，同样适用于 1-2 个进程。我认为是因为这些进程共享相同的 JVM。这个程序全是Python，我只用JVM连接数据库。

import time
import os
import jaydebeapi, sys
import multiprocessing

def bigsql_database_connection():
    #creates a db connection with jaydebeapi

# Multiprocessing Variables
total_processes = 7
wait = 30
queue = multiprocessing.Queue()

# define daemon cursor
conn = bigsql_database_connection()
cus=conn.cursor()

def list_unprocessed_ids():
    #returns ids to process

def process(queue):
    conn = bigsql_database_connection()
    while True:
        try:
            cus_runid=conn.cursor()
            run_id_str = str(queue.get(True))
            #here some db work and heavy data processing is completed
            cus_runid.close()
        except Exception as e:
            cus_runid.close()

def daemon():
    run_pool = multiprocessing.Pool(total_processes, process, (queue,))
    while True:
        try:
            ids_to_process = list_unprocessed_ids()
            if len(ids_to_process) >= 1:
                for id in ids_to_process:
                    queue.put(str(id))
            time.sleep(wait)
        except Exception as e:
            #handle error
    return 0

daemon()

我怎样才能给每个进程自己的JVM，这样进程就不会争夺数据库连接？（我很确定这是正在发生的事情）

4

1 回答 1

1

如前一篇文章所述，当将 JPype 与多处理一起使用时，需要生成而不是分叉。分叉副本继承了一个无法正常工作的 JVM，这会导致随机问题。

Jpype 中的多处理内存泄漏

于 2020-04-17T14:18:22.450 回答