10

我在我的部分 gui 代码中设置了一个简单的生产者消费者模式。我试图只分析特定的消费者部分，看看是否有任何优化的机会。但是，当尝试运行代码时，python -m cProfile -o out.txt myscript.py我收到了 Pythonpickle模块引发的错误。

  File "<string>", line 1, in <module>
  File "c:\python27\lib\multiprocessing\forking.py", line 374, in main
    self = load(from_parent)
  File "c:\python27\lib\pickle.py", line 1378, in load
    return Unpickler(file).load()
  File "c:\python27\lib\pickle.py", line 858, in load
    dispatch[key](self)
  File "c:\python27\lib\pickle.py", line 880, in load_eof
    raise EOFError
EOFError

代码中的基本模式是

class MyProcess(multiprocessing.Process):
    def __init__(self, in_queue, msg_queue):
        multiprocessing.Process.__init__(self)
        self.in_queue = in_queue
        self.ext_msg_queue = msg_queue
        self.name == multiprocessing.current_process().name

    def run(self):
        ## Do Stuff with the queued items

这通常是来自 GUI 方面的任务，但出于测试目的，我将其设置如下。

if __name__ == '__main__':

    queue = multiprocessing.Queue()
    meg_queue = multiprocessing.Queue()
    p = Grabber(queue)
    p.daemon = True
    p.start()
    time.sleep(20)
    p.join()

但是在尝试启动脚本时，我收到了上述错误消息。

有没有办法解决这个错误？

4

1 回答 1

9

据我了解，该模块在命令行上cProfile不能很好地使用。multiprocessing（请参阅Python 多进程分析。）

解决此问题的一种方法是从您的代码中运行探查器——特别是，您需要为池中的每个进程设置不同的探查器输出文件。你可以很容易地通过调用cProfile.runctx('a+b', globals(), locals(), 'profile-%s.out' % process_name).

http://docs.python.org/2/library/profile.html#module-cProfile

于 2013-08-09T15:30:30.467 回答