问题标签 [swifter]

我期待优化我将 lambda 函数应用于 pandas 数据帧的方式，以便我可以执行它（1）更快，（2）消耗更少的资源。

首先，如果我apply(lambda...很慢，但它大部分时间都不会中断。

寻找优化方法，我发现更快，我阅读了文档，对我来说听起来很棒，所以我也尝试swifter.apply(lambda...了这个执行爆炸，它很快耗尽了内存

我开始深入挖掘，发现了类似swifter.set_npartitions()和其他听起来很有趣的方法https://github.com/jmcarpenter2/swifter/blob/master/docs/documentation.md

但！本文档仅显示“如何实现它”而不是“为什么实现它”。

我正在尝试优化具有 16 GB 内存、Geforce RTX 2060 和良好处理器的电脑。但是我无法就如何做到这一点得出正确的结论。

这是我的示例代码：

该apply_concordance()函数来自 ML 训练模型，我认为与这个问题无关，但重要的是它是一个资源消耗者，我无法更改或优化它

我有一些代码使用一个名为 function 的函数填充两个列表，该函数返回两个值。该函数需要一些位于数据框行内的参数。然后我将列表附加到我的数据框中的新列。

我想知道是否有更快的方法来使用apply. 我投入了 tqdm，因为每个人都喜欢知道他们必须等待多长时间。对于它的价值，函数的输出是一个浮点数和一个列表。

有一个更好的方法吗？我觉得这有点基本，我想要一些优雅和高效的东西。有没有办法使用应用来做到这一点？我想最终在某个时候使用 swifter 包。

更新

我不明白为什么这不起作用。

我收到一个错误，该函数缺少 3 个必需的位置参数：“Sex”、“Name”和“Location”。

我将 Python 脚本作为子进程运行，使用 Nodejs 生成。

在本地运行时，或者在本地使用 Docker/Kubernetes 安装时，它按预期工作并完成脚本中的所有功能。在 Kubernetes Azure 中运行容器时，脚本会在不到 1 小时的时间内静默停止/失败，不会记录任何异常或错误。

内存和 CPU 使用率保持在最大 30% 以下，容器作为一个整体不会失败。运行时，ps -fA | grep python我可以看到脚本在生成后正在运行。脚本在失败/静默停止后不再显示。Nodejs 中用于生成的进程的“退出”和“关闭”事件不会触发。

任何有关如何排除故障的建议将不胜感激。

编辑：Nodejs产生

编辑：Dockerfile

Python v 3.7.11 Nodejs v 12.20