1

我正在尝试并行化与计算成本高昂的 Python 对象的交互。我想用 Ray 来做这件事，但到目前为止我的最大努力都失败了。

该对象是一个 CPLEX 模型对象，我正在尝试为条件列表添加一组约束。

这是我的设置：

import numpy as np
import docplex.mp.model as cpx
import ray

m = cpx.Model(name="mymodel")

def mask_array(arr, mask_val):
    array_mask = np.argwhere(arr == mask_val)
    arg_slice = [i[0] for i in array_mask]
    return arg_slice

weeks = [1,3,7,8,9]
const = 1.5
r = rate = np.array(df['r'].tolist(), dtype=np.float)
x1 = m.integer_var_list(data_indices, lb=lower_bound, ub=upper_bound)
x2 = m.dot(x1, r)

@ray.remote
def add_model_constraint(m, x2, x2sum, const):
    m.add_constraint(x2sum <= x2*const)
    return m

x2sums = []
for w in weeks:
    arg_slice = mask_array(x2, w)
    x2sum = m.dot([x2[i] for i in arg_slice], r[arg_slice])
    x2sums.append(x2sum)

#: this is the expensive part 
for x2sum in x2sums:
    add_model_constraint.remote(m, x2, x2sum, const)

简而言之，我正在做的是创建一个模型对象、一些变量，然后循环数周以建立一个约束。我对变量进行子集化，计算一些点积并应用约束。我希望能够并行创建约束，因为这需要一段时间，但到目前为止我的代码只是挂起，我不知道为什么。

我不知道是否应该在我的函数中返回模型对象，因为默认情况下 m.add_constraint 方法会修改对象。但与此同时，我知道 Ray 返回了对远程值的引用，所以是的，不确定那里应该发生什么。

这是对射线的有效使用吗？期望能够以这种方式修改 CPLEX 对象（或任何其他任意 python 对象）是否合理？

我是 Ray 的新手，所以我的结构可能都是错误的，或者这对于 X、Y 和 Z 的原因可能永远不会起作用，这也很高兴知道。

4

2 回答 2

0

该Model对象并非旨在并行使用。您不能同时添加来自多个线程的约束。这将导致未定义的行为。您至少需要一个锁以确保一次只有线程添加约束。

请注意，并行模型构建可能根本不是一个好主意：约束的顺序或多或少是随机的。另一方面，求解器的行为可能取决于约束的顺序（这称为性能可变性）。因此，您可能很难重现某些结果/行为。

于 2020-02-28T13:18:00.573 回答
0

我知道主要问题是模块构建的性能。从您发送的代码中，我有两个建议来解决这个问题：

  1. 批量发布约束，即将约束存储在列表中并使用 Model.add_constraints() 添加一次，这应该比一次添加一个更有效。
  2. 试验 Model.dotf() （函数式标量积）。它避免构建辅助列表，而是传递 key 的函数，返回系数。此方法是 Docplex 版本 2.12 中的新方法。例如，假设有 3 个变量的列表：

abc = m.integer_var_list(3, name=["a", "b", "c"]) m.dotf(abc, lambda k: k+2)

docplex.mp.LinearExpression(a+2b+3c)

Model.dotf() 通常比 Model.dot() 快

于 2020-03-01T16:07:43.867 回答