6

这只是带有 parallel-python 标签的第二个问题。在查看了文档并在谷歌上搜索了该主题后,我来到了这里,因为这是我获得最佳答案和建议的地方。

以下是向pp提交所有相关信息的API(我认为它被称为)。

    def submit(self, func, args=(), depfuncs=(), modules=(),
        callback=None, callbackargs=(), group='default', globals=None):
    """Submits function to the execution queue

        func - function to be executed
        args - tuple with arguments of the 'func'
        depfuncs - tuple with functions which might be called from 'func'
        modules - tuple with module names to import
        callback - callback function which will be called with argument
                list equal to callbackargs+(result,)
                as soon as calculation is done
        callbackargs - additional arguments for callback function
        group - job group, is used when wait(group) is called to wait for
        jobs in a given group to finish
        globals - dictionary from which all modules, functions and classes
        will be imported, for instance: globals=globals()
    """

这是我的提交声明及其参数:

job_server.submit(reify, (pop1, pop2, 1000), 
                  depfuncs = (key_seq, Chromosome, Params, Node, Tree), 
                  modules = ("math",), 
                  callback = sum.add, globals = globals())

中所有大写depfuncs的名称都是类的名称。我不确定将课程放在哪里,或者即使我需要将它们包含在globals()字典中。但是当我用depfuncs()空运行它时,它会引发诸如“ Tree not defined”之类的错误(例如)。

现在,key_seq是一个生成器,所以我必须使用它的一个实例才能使用.next()

def key_seq():
    a = 0
    while True:
        yield a
        a = a + 1
ks = key_seq()

ks中定义globals()。当我没有在其他任何地方包含它时,我收到一个错误说' ks is not defined'。当我包含ksin 时depfuncs,这是错误:

Traceback (most recent call last):
  File "C:\Python26\Code\gppp.py", line 459, in <module>
    job_server.submit(reify, (pop1, pop2, 1000), depfuncs = (key_seq, ks, Chromosome, Params, Node, Tree), modules = ("math",), callback = sum.add, globals = globals())
  File "C:\Python26\lib\site-packages\pp.py", line 449, in submit
    sfunc = self.__dumpsfunc((func, ) + depfuncs, modules)
  File "C:\Python26\lib\site-packages\pp.py", line 634, in __dumpsfunc
    sources = [self.__get_source(func) for func in funcs]
  File "C:\Python26\lib\site-packages\pp.py", line 713, in __get_source
    sourcelines = inspect.getsourcelines(func)[0]
  File "C:\Python26\lib\inspect.py", line 678, in getsourcelines
    lines, lnum = findsource(object)
  File "C:\Python26\lib\inspect.py", line 519, in findsource
    file = getsourcefile(object) or getfile(object)
  File "C:\Python26\lib\inspect.py", line 441, in getsourcefile
    filename = getfile(object)
  File "C:\Python26\lib\inspect.py", line 418, in getfile
    raise TypeError('arg is not a module, class, method, '
TypeError: arg is not a module, class, method, function, traceback, frame, or code object

我很确定arg指的是ks. 那么,我该在哪里.submit()讲述ks呢?我不明白应该去哪里。谢谢。

4

2 回答 2

5

有趣 - 你在做遗传学模拟吗?我问是因为我在那里看到了“染色体”,而且我曾经使用并行 python 开发了一个群体遗传学模拟。

你的方法看起来真的很复杂。在我的并行 python 程序中,我使用了以下调用:

job = jobServer.submit( doRun, (param,))

我是怎么逃脱的?诀窍是 doRun 函数不会在与调用 sumbit 的上下文相同的上下文中运行。例如(人为的例子):

import os, pp

def doRun(param):
    print "your name is %s!" % os.getlogin()

jobServer = pp.Server()
jobServer.submit( doRun, (param,))

此代码将失败。这是因为 doRun 中不存在 os 模块 - doRun 没有在与提交相同的上下文中运行。当然,你可以传入osmodule参数submit,但只是调用import osdoRun 不是更容易吗?

并行 python 试图通过在一个完全独立的进程中运行你的函数来避免 python 的 GIL。它试图通过让您将“传递”参数和名称空间引用到您的函数来使这更容易理解,但它使用黑客来做到这一点。例如,您的类将使用一些变体pickle序列化,然后在新进程中反序列化。

但不要依赖submit's hacks,只需接受这样一个现实,即您的函数将需要完成设置它的运行上下文的所有工作。你真的有两个main功能 - 一个设置调用submit,另一个调用 via submit,它实际上设置了你需要做的工作。

如果您需要生成器中的下一个值可用于 pp 运行,请将其作为参数传递!这避免了 lambda 函数和生成器引用,并让您传递一个简单的变量!

我的代码不再维护,但如果您好奇,请在此处查看: http ://pps-spud.uchicago.edu/viewvc/fps/trunk/python/fps.py?view=markup

于 2009-10-10T10:23:51.020 回答
0

我认为您应该传入 lambda:ks.next() 而不是普通的旧 ks

于 2009-10-09T23:56:23.050 回答