问题标签 [modin]

我在 windows 终端中创建了一个具有以下语法的虚拟环境：

在一个新的 python 文件中，当我执行以下命令时：

它给了我一个错误：modulenotfounderror no module named 'modin'

我搜索了很多论坛，但没有得到可行的回应。

我什至在 import 语句之前尝试了以下操作：

这在这里也行不通。因此，感谢您在这方面的任何帮助。

谢谢戈皮纳斯

通常，当对象存储填满时，它会开始驱逐未使用的对象（以最近最少使用的方式）。但是，由于所有对象都是保存在结果列表中的 numpy 数组，它们都仍在使用中，而这些 numpy 数组所在的内存实际上是在对象存储中，因此它们占用了对象存储。在这些对象超出范围之前，对象存储无法驱逐它们。

问题：如何在不超过单机内存的情况下指定像 redis 这样的外部对象存储？我不想使用 /dev/shm 或 /tmp 作为对象存储，因为只有有限的内存可用并且它很快就会填满

我正在使用 modin.pandas 从数据框中删除重复项。

低于错误

谁能指导我如何解决这个问题？

AWS Lambda 带有 6 个 vCPU。Modin for Pandas 承诺使用内核来提高处理效率。

这是否真的在 AWS Lambda 上提供，否则不支持多线程、多处理等？

尝试从 mac os 上的 modin 导入 pandas 时遇到以下问题

import modin.pandas as pd. 对此有什么可能的解决方法？

错误回溯

我正在使用 modin 读取 sql 表，但是我收到了这个警告

我是使用 modin 的新手，不知道发生了什么，Jupyter Lab 减速 5 分钟，然后加载数据框，有什么建议/建议吗？

我有一个大约 120k 行的 modin 数据框。我想合并它的一些列。Modin df iterrows 需要很多时间，所以我尝试使用 numpy.where。Numpy.where 在等效的 pandas df 上可以在 5-10 分钟内完成，但 modin df 上的相同操作需要约 30 分钟。有什么替代方法可以加快 modin 数据帧的这项任务？

[cols_to_be_coalesced] --> 此列表包含要合并的列的列表。它包含 10-15 列。

代码：

如果 df 是 pandas 数据帧，它将在 ~10 分钟内执行，但如果它是一个 modin 数据帧，则需要 ~30 分钟。那么，对于 modin 数据帧，numpy.where 是否有任何等效代码来加速此操作？

如何安装 Modin 的英特尔发行版？

我想使用现有的基于 Conda 的 python 环境安装 Intel AI Kit Modin。激活 conda 环境后安装 Modin 需要哪些步骤？

我在我的 Windows 10 机器中导入 modin.pandas 库但出现错误

“AttributeError：模块'ray'没有属性'utils'”

安装 modin 库时遗漏了什么？

我正在尝试 modin，但不断收到错误消息：

错误：

UserWarning：Dask 执行环境尚未初始化。Initializing... 要删除此警告，请在执行数据帧操作之前运行以下 python 代码：

任务异常永远不会被检索到：<Task finished name='Task-8' coro=<_wrap_awaitable() done，定义在 C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\asyncio\tasks。 py:683> exception=ImportError("cannot import name 'Popen' from partial initialized module 'multiprocessing.popen_spawn_win32' (很可能是由于循环导入) (C:\Users\Oleg\AppData\Local\Programs\Python\Python39 \lib\multiprocessing\popen_spawn_win32.py)")> Traceback（最近一次调用最后）：文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\asyncio\tasks.py”，第 690 行, 在_wrap_awaitable中返回（从 awaitable.await 中产生）()) 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\site-packages\distributed\core.py”，第 290 行，在_await self.start() 文件“C: \Users\Oleg\AppData\Local\Programs\Python\Python39\lib\site-packages\distributed\nanny.py”，第 295 行，开始响应 = await self.instantiate() 文件“C:\Users\Oleg\ AppData\Local\Programs\Python\Python39\lib\site-packages\distributed\nanny.py”，第 378 行，在实例化结果中 = await self.process.start() 文件“C:\Users\Oleg\AppData\Local \Programs\Python\Python39\lib\site-packages\distributed\nanny.py”，第 575 行，在开始等待 self.process.start() 文件“C:\Users\Oleg\AppData\Local\Programs\Python\ Python39\lib\site-packages\distributed\process.py”，第 34 行，在 _call_and_set_future res = func(*args, **kwargs) 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\site-packages\distributed\process.py”，第 202 行，在 _start process.start() 文件“C:\Users\Oleg\AppData\Local \Programs\Python\Python39\lib\multiprocessing\process.py"，第 121 行，在 start self._popen = self._Popen(self) File "C:\Users\Oleg\AppData\Local\Programs\Python\Python39\ lib\multiprocessing\context.py”，第 224 行，在 _Popen 返回 _default_context.get_context().Process._Popen(process_obj) 文件“C:\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\multiprocessing\ context.py”，第 326 行，在 _Popen from .popen_spawn_win32 import Popen ImportError: cannot import name 'Popen' from partial initialized module 'multiprocessing.popen_spawn_win32'（很可能是由于循环导入）（C：\Users\Oleg\AppData\Local\Programs\Python\Python39\lib\multiprocessing\popen_spawn_win32.py) '''

如果有帮助的话，我有一个 0.1.20 版本。SO上有人建议尝试错误消息中的内容-导入dask.distributed并启动客户端，但没有帮助。

任何帮助深表感谢。

附言。几周前我想尝试 modin，但安装并不简单，有很多错误，主要是 ray 和 dask 导入。我设法让 dask 以某种方式工作，而不是 modin。并开始学习它的api。现在我决定再试一次，因为我认为 dask 工作正常，但是不，仍然有一些导入错误，什么都没有。