5

我在使用 Python 多处理包中的 pool.map 传递数据库连接对象或游标对象时遇到了一些困难。基本上，我想创建一个工人池，每个工人都有自己的状态和数据库连接，以便他们可以并行执行查询。

我已经尝试过这些方法，但是我在 python 中遇到了 picklingerror -

带有 2 个参数的池映射

使用 Initializer 设置多进程池

第二个链接正是我需要做的，这意味着我希望每个进程在启动时打开一个数据库连接，然后使用该连接来处理传入的数据/参数。

这是我的代码。

import multiprocessing as mp

def process_data((id,db)):
  print 'in processdata'
  cursor = db.cursor()
  query = ....
  #cursor.execute(query)
  #....
  .....
  .....
  return row

`if __name__ == '__main__':

  db = getConnection() 
  cursor = db.cursor() 
  print 'Initialised db connection and cursor'
  inputs = [1,2,3,4,5]
  pool = mp.Pool(processes=2)
  result_list = pool.map(process_data,zip(inputs,repeat(db)))
  #print result_list
  pool.close()
  pool.join()

`

这会导致以下错误 -

`Exception in thread Thread-1:
  Traceback (most recent call last):
  File "/usr/lib/python2.6/threading.py", line 532, in __bootstrap_inner
    self.run()
  File "/usr/lib/python2.6/threading.py", line 484, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/usr/lib/python2.6/multiprocessing/pool.py", line 225, in _handle_tasks
    put(task)
  PicklingError: Can't pickle <type 'module'>: attribute lookup __builtin__.module failed`

我猜 db 或 cursor 对象根据 python 是不可挑选的，因为如果我将 repeat(db) 替换为 repeat(x) 其中 x 是 int 或 string ，它就可以工作。我尝试使用初始化函数，它似乎可以工作，但最初执行查询时会发生奇怪的事情，当有数据存在时，许多 id 没有返回任何内容。

实现这一目标的最佳方法是什么？我在 linux 机器上使用 python 2.6.6。

4

2 回答 2

10

我将继续提出我的评论作为答案，因为我认为它是合适的。您不想尝试将数据库连接从父进程传递到子进程。您希望将可以序列化的静态数据或其他对象移动到您的子进程。您可以传递数据行等。或者您希望您的孩子在必要时建立自己的数据库连接。

于 2012-09-27T05:59:16.840 回答
-2

尝试腌制数据库连接对象。酸洗独立于工艺。所以它可能工作..

参考这些页面 - python 泡菜
泡菜示例

于 2012-09-27T07:35:38.500 回答