问题标签 [pandarallel]

我正在使用带有初始化 4 个内核的 pandasallel 包在 pandas 数据帧上运行应用函数。但不幸的是，进程 os 甚至没有处理单个记录。与没有 Pandarallel 并行功能的情况相同，需要 3 分钟才能完成该过程。

在 1000 条记录数据帧上运行实验。实际上我有 200 万个数据集，这就是我正在研究 pandarallel 的地方。

附上相同的屏幕截图

数据集的大小为 6 MB，RAM 为 16 GB。这种僵局情况可能是什么问题？

我的代码：

只打印一个空列表。我只是不明白我做错了什么！

pandarallel在我的数据帧上运行 .apply 方法时使用所有内核时，我遇到了以前从未见过的语法。相反，这是一种我不理解的使用点语法的方式。

到目前为止一切顺利，只是设置了一个数据框。接下来，为了pandarallel准备好，我们做

接下来是我感到困惑的一点：要使用 pandarallel，我们在数据帧上调用此方法

我的问题是：如果数据框是使用库df实例化的，并且没有调用方法，那么 Python 是如何知道在对象上使用该方法的？pandaspandasparallel_applypandarallelpandas

我认为这与初始化有关，但我以前从未见过这种情况，而且我不明白后端发生了什么。

Pandarallel 支持不错的进度小部件。但是，在使用 Google Colab 时，我无法让它们出现。我得到这样的输出：

应该启用小部件的这段代码在我的笔记本中成功运行（在我使用任何并行调用之前）：

我错过了什么？

更新：当我将 Google Colab 连接到本地 Jupyter 实例时，我看到了正确的小部件。仅在尝试在 Google Jupyter 实例上运行时才会出现问题。

嗨，我正在尝试将 facebook-prophet 并行化为面板时间序列。每个系列都是相互独立的，所以放在一起应该没有问题。我想做的是同时为每个系列安装一个先知模型。我在下面试过：

在运行了几次迭代后，它给出了以下错误：

类型错误：_is_indexed_like() 缺少 1 个必需的位置参数：“轴”

任何人都可以帮助我解决错误。或者提出不同的方法来实现我想要做的事情？

PS：以下工作正常：z = df_trial.groupby("O2_ID", as_index=False).apply(prop)

编辑：

示例数据，数据框的前 5 行：

我试图加快我的原始程序，但是当我查看我的 CPU 统计数据时，只使用了一个工人。我原来的程序：

我认为使用并行化来加速程序可能会更快，所以我开始更改程序。

出乎我的意料，这个程序没有使用所有的 CPU 工作者，也没有比原来的程序快。我做错了什么还是有更好的方法通过并行计算来加速这个程序？

我有一个名为 .colum 的数据框label。该列中的值为：

我想创建一个维度向量，该向量在标签灯中存在的位置处240具有值。1

我正在尝试使用pandarallel，因为我有60 million data points

代码

它在某个时候卡住了。这是处理的屏幕截图。

它不从这里处理。

我想定义一个可以在目录中的每个 xml 文件上实现的函数，以便解析它并从数据框中的标签中获取内容。

当我调用一个函数时，我收到此错误。不幸的是，每个现有的解决方案都不适用于我。

也许您还可以帮助我进行代码优化。我的任务是获取 2k xml 文件的内容，到目前为止，我决定定义一个函数，然后使用 pandarallel：parallel_apply(func)

我正在使用 pandarallel 并请求从网站获取结果，但它对我的 API 的响应并未涵盖我的整个请求。因此，我想做一个 while 循环，在 to_doDf 中获取未回答的行并将请求发送到 to_doDf 的 API，同时从 to_doDf 中删除行，并从 API 获得响应。基本逻辑是，当结果列下有空行时，除非它的长度为零，否则向 API 发送请求，直到它收到答案。但我无法编写代码来删除已回答 API 的行。