基本上,我有一个大对象,我想对其执行一些功能,它非常适合并行处理。在这个例子中,我有一个大矩阵,我想计算列向量之间的所有成对内积。
请看下面的IPython Notebook。
我意识到@interactive
在这种情况下不需要装饰器,我尝试删除@require
装饰器,但它的影响可以忽略不计。
我的问题是:有什么方法可以提高并行机器的性能吗?
我不知道这些map
方法的实现细节,我可以通过推送与视图中的引擎并行执行的函数来避免开销吗?不过,我无法想象它会随每个参数一起发送。
我自己将参数列表分块并编写一个远程使用的函数似乎也很愚蠢。
我在四核机器上尝试了笔记本,笔记本中的结果是两核机器。