问题标签 [swifter]

我尝试将以下代码（最小示例）应用于我的 200 万行 DataFrame，但由于某种原因 .apply 向函数返回多行并破坏了我的代码。我不确定发生了什么变化，但代码之前确实运行过。

有没有人有想法或类似的问题？

重要的是没有更快的一切工作正常，但由于行数太慢。

在我的系统上的虚拟python 3.9x环境中Lubuntu 20.04，我尝试swifter使用pip install swifter. 然而，这并不奏效，因为兼容性检查与多个模块，例如jupyter-core，jupyter-client，jedi并且decorator即使在运行 1 小时后也无法完成。

pip install swifter直到通过强制中断进程的整个标准输出CTRL + C可以在以下内容中看到：

作为对前面冗长代码块的附注：我尝试按照本文中的建议使可折叠的降价/HTML 块在此处工作，但目前 stackoverflow 引擎未启用它。

我有一个数据帧，其中包含大约 15k 路径的音频文件，我想在其上执行操作（人为添加噪声）。一般来说，整个事情都有效，但即使记录较少（16）条记录也需要很长时间。问题不是函数的执行时间，而是所有初始化之前的时间。

正如您在此处看到的，初始化所需的时间几乎是 Lambda 函数 ( merge_sounds) 运行时间的 4 倍。在这种情况下，initialization-time我指的是elapsed_time_measured_by_myself - elapsed_time_measured_by_tqdm26.97.. - 7 = 19.97

卡在：

卡在：

我知道并行化对于较小的数据集没有意义，我只是很困惑为什么我可以轻松地将代码中的所有内容并行化，而我只是无法在这里取得成功。后来我在大量数据上运行这段代码，所以如果并行性可行，我会很高兴。

Map 中使用的函数是：

有什么我忘记并行化映射函数的吗（似乎在我的代码中的其他任何地方都可以使用这种变体之一，就像预期的那样）

Ty 进阶。

我正在尝试为 XCUITests 中的 UI 测试的某些端点实现模拟响应。然而，所有可用的模拟服务器在测试开始时都设置了 url，因此所有请求都通过它们。

如何仅发出特定请求以通过本地模拟服务器，而其余请求则通过默认的 prod / stage 端点？

当我运行它时我真的很高兴pandas.apply，pandas.swifter.apply因为它大大减少了计算时间，但是每次我运行它时，我的 MacOS 防火墙一直在抱怨。我需要以管理员身份登录才能允许它。

我去了系统偏好设置并浏览了允许传入连接的防火墙列表，python 3.7 已经存在 - 两次（见列表）。但是我看不到这条路，我不确定它指向哪里。

我正在使用venvanaconda，我想为防火墙列表添加这个解释器，但我的 python 解释器似乎只是 conda/env/ 路径中的一个引用（只是没有扩展名的空 python 文件 - 我无法将它添加到列表中防火墙允许的连接数）。

每次我运行它时，如何让 swifter 运行而不以本地管理员身份登录？

我正在使用swifter库快速创建简单的 rest api
我如何响应 json 数据？

但有以下错误信息

序列化错误：invalidObject

我检查了库源代码，发现错误消息原因

所以，我需要通过guard JSONSerialization.isValidJSONObject(object) else {

另外，图书馆没有足够的文件，我该如何解决这个问题？

我目前有这个代码片段

当我运行服务器时，我可以访问localhost:8080/mobile/但是如果我尝试失败localhost:8080/mobile/test

有谁知道如何允许任何子文件夹属于根路径？我试过添加mobile/*，但它把它当作文字*而不是通配符

我是一名初级数据科学家，我正在尝试解决一个对于有经验的程序员来说可能很简单的问题。我正在处理 GCP 上的大数据，我需要优化我的代码。

我们的 DataFrame 具有以下模式：

在 DataFrame 上使用 iterrows 太慢了。我一直在研究替代品，我知道：

1. 我可以使用申请
2. 我可以通过 Pandas 系列对其进行矢量化（比应用好）
3. 我可以通过 Numpy 对其进行矢量化（比 Pandas 矢量化更好）
4. 我可以使用 Swifter - 它使用 apply 方法，然后在 Dask、Ray 和矢量化之间为您决定更好的解决方案

但我不知道如何为这些解决方案转换我的代码。

谁能帮我演示我的代码的解决方案？一个就足够了，但是如果有人可以展示不止一个解决方案，那么对于这个问题来说真的很有教育意义。

任何帮助我将不胜感激！

我有一个关键字列表（推广、想要、总是）。有时它可能不仅仅是作为关键字的单词。前任。“想要”我使用的数据集是training.1600000.processed.noemoticon.csv，可以在这里找到：https ://www.kaggle.com/kazanova/sentiment140

我需要知道列表中的哪个关键字出现在'Text'列的每一行中，无论它是整个字符串（例如"always"）还是子字符串（例如"alwaysfurst"），不区分大小写。例如，可以仅针对一行“促进” ，或者针对另一行同时“想要”和“始终”。所以我必须创建一个新列，该列应该包含每个创建的关键字（出现一次）。我只保留至少有一个关键字的行

这是代码：

要检查新的df是否只包含列表中唯一的关键字组合，在“long”列上，我使用.value_counts()

没关系。

我尝试通过用“”更改第一行来使用Modinimport modin.pandas as pd ，但我得到了更长的时间（几乎是两倍）和一些警告

我放弃了 Modin，我试图在“应用”之前插入“ swifter ” ，但我得到了"AttributeError: 'Series' object has no attribute '_is_builtin_func'"

有没有办法改进代码以获得更好的性能？或者另一种方式来做到这一点？（也许是 Vaex？）

我有一个熊猫数据框，其列包含字典。我还有一个查询字典，我想计算公共键值的最小总和。
例如

我正在使用以下代码来计算它。

以下是我的 i7 8 核机器与 8GB 内存的操作时间。

我还发现，我可以使用 swifter 来提高 pandas apply 的性能（通过在内部使用多处理）

使用 swifter 甚至更慢（可能是因为多处理的开销）。我想知道是否有任何方法可以从这个操作中挤出更多的性能。

您可以使用以下内容来复制内容。

提前致谢。