我想知道如何将 N 个独立任务分配给具有 L 个内核的机器上的 M 个处理器，其中 L>M。我不想使用所有处理器，因为我仍然希望 I/O 可用。我尝试过的解决方案似乎已分发到所有处理器，从而使系统陷入困境。
我认为多处理模块是要走的路。
我做数值模拟。我的背景是物理学，而不是计算机科学，所以不幸的是，我经常不能完全理解涉及标准任务模型（如服务器/客户端、生产者/消费者等）的讨论。
以下是我尝试过的一些简化模型：
假设我有一个run_sim(**kwargs)运行模拟的函数（见下文），以及一长串用于模拟的 kwarg，并且我有一台 8 核机器。
from multiprocessing import Pool, Process
#using pool
p = Pool(4)
p.map(run_sim, kwargs)
# using process
number_of_live_jobs=0
all_jobs=[]
sim_index=0
while sim_index < len(kwargs)+1:
number_of_live_jobs = len([1 for job in all_jobs if job.is_alive()])
if number_of_live_jobs <= 4:
p = Process(target=run_sim, args=[], kwargs=kwargs[sim_index])
print "starting job", kwargs[sim_index]["data_file_name"]
print "number of live jobs: ", number_of_live_jobs
p.start()
p.join()
all_jobs.append(p)
sim_index += 1
当我用“top”和“1”查看处理器使用情况时，无论哪种情况，所有处理器似乎都被使用了。我误解了“top”的输出并不是不可能的，但是如果它run_simulation()是处理器密集型的，那么机器就会严重陷入困境。
假设模拟和数据：
# simulation kwargs
numbers_of_steps = range(0,10000000, 1000000)
sigmas = [x for x in range(11)]
kwargs = []
for number_of_steps in numbers_of_steps:
for sigma in sigmas:
kwargs.append(
dict(
number_of_steps=number_of_steps,
sigma=sigma,
# why do I need to cast to int?
data_file_name="walk_steps=%i_sigma=%i" % (number_of_steps, sigma),
)
)
import random, time
random.seed(time.time())
# simulation of random walk
def run_sim(kwargs):
number_of_steps = kwargs["number_of_steps"]
sigma = kwargs["sigma"]
data_file_name = kwargs["data_file_name"]
data_file = open(data_file_name+".dat", "w")
current_position = 0
print "running simulation", data_file_name
for n in range(int(number_of_steps)+1):
data_file.write("step number %i position=%f\n" % (n, current_position))
random_step = random.gauss(0,sigma)
current_position += random_step
data_file.close()