问题标签 [joblib]

我正在对神经感觉系统进行一些建模，该系统对于系统的不同阶段具有不同的模型组件。每个阶段的计算都是并行完成的，然后传递到下一个阶段。

我遇到了multiprocessing.pool.MaybeEncodingError: Error sending result: '[<periphery_configuration.PeripheryOutput object at 0x10d00cf28>]'. Reason: 'error("'i' format requires -2147483648 <= number <= 2147483647",)'，我认为这意味着我正在尝试传递一个太大的 numpy 数组列表，以至于multiprocessing索引空间不足。

我已尝试使用 来解决此问题joblib，如下所示。我究竟做错了什么？根据他们的文档，我应该自动记忆到磁盘；这似乎没有发生。

这是一个简短的实现。调用has_shareable_memory是一些丑陋的霰弹枪调试，我不完全理解它应该做什么。

以下代码在self.stimulus包含少于约 10,000 个元素时有效。它self.stimulus在. results = Parallel..._ 是计算一个结果的方法。 runself.solve_one_cochlea

我明白了。尝试使用 joblib 缓存结果时的用户警告：

我明白了。使用 foll 调用此函数时发出警告。参数：

输入参数： C:/Users/rit/Documents/PhD/Projects/\GLA/Input/LUWH/\LUWLAN_v1.0h\transit_model.nc range_to_large 1150

如何摆脱警告？以及为什么会发生，因为输入参数不会太长。

我有两个随机变量的概率密度函数func1和func2（包括support每个）。现在我需要这两个随机变量之和的概率密度函数，我通过以下方式创建：

问题在于巨大的冗余。许多值必须计算不止一次。所以我尝试缓存，但由于动态生成的函数没有唯一名称，出现了问题。

缓存此类动态生成的函数的更好方法是什么？

I am trying to parallelize a loop that is very costly.

Here is the code:

The very costly part is the first loop in bmm_em.expectation_step.

I looked at the joblib module but couldn't figure out how I can rewrite my code to make it work.

Can anyone give me a hint? :)

我使用模块 joblib 持久化了一个 TfidfVectorizer。我通过 fit_transform 方法运行的对象是一个字符串列表。生成的矩阵具有 263744 列的维度。

我正在通过 transform 方法运行一个字符串列表，我收到以下错误。

有什么线索吗？

我需要一些帮助来准确了解我所做的事情/为什么我的代码没有按我的预期运行。

我已经开始使用 joblib 来尝试通过并行运行（大）循环来加速我的代码。

我这样使用它：

我一直在尝试“n_jobs”，希望增加它会加快我的功能。但是，当我增加 n_jobs 时，事情会明显变慢。在没有“并行”的情况下运行此代码时，事情会变慢，直到我将作业数量从 1 增加。

为什么会这样？我知道我运行的作业越多，脚本越快？我用错了吗？

谢谢！

我想并行运行一个函数，并等到所有并行节点都完成，使用 joblib。就像在示例中一样：

但是，我希望像tqdm一样在单个进度条中看到执行，显示已经完成了多少作业。

你会怎么做？

我编写了上面的脚本，用于在一些数据上训练 AdaBoostClassifier。第一次形成 pkl 文件。但是当我再次运行脚本时，模型再次被训练并且之前的模型没有被拾取。我做了同样的事情线性 SVC 的东西，它正在工作。还有其他方法可以保存 AdaBoostClassifier 吗？

我有一个带有 kerasRegressor 的 scikit-learn 管道：

在训练管道之后，我正在尝试使用 joblib 保存到磁盘...

但我收到一个错误：

RuntimeError：超出最大递归深度

您将如何将管道保存到磁盘？

我有一个令人尴尬的并行循环：

我想使用JoblibParallel 使其并行：

或其他版本：

但是在运行它时会抱怨：

我在这里想念什么？任何帮助表示赞赏。