问题标签 [modin]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
2117 浏览

python - 加入两个 modin.pandas.DataFrame(s)

我试图加入/合并/合并两个 modin.pandas 数据帧但失败了。有没有人成功执行此操作?这是大数据 modin-project pandas 的实现。

来源在这里: https ://github.com/modin-project/modin/blob/master/modin/pandas/dataframe.py 和 https://github.com/modin-project/modin/blob/master/modin /pandas/concat.py

例子:

拳头尝试:modin.pandas.DataFrame.join

对应的错误信息:

第二次尝试:modin.pandas.concat

对应的错误信息:

0 投票
2 回答
14522 浏览

python - 无法安装 RAY

RISE 实验室的 Ray 库 ( https://rise.cs.berkeley.edu/blog/pandas-on-ray/ )

我正在使用 64 位 Windows 10 Pro 并从 Anaconda 提示符运行这些脚本。

我都试过了

结果相同

找到解决方法或对此进行故障排除会很棒。谢谢

0 投票
1 回答
970 浏览

python - 我的代码在 pandas 中运行正常,但在 modin 中没有

当我使用 pandas 时,代码运行良好(但非常慢),当使用 modin 和 concat 数据帧时,显示错误

我希望输出一个数据帧,其中所有文件都从 dict 连接,但是 y 接收(在 pandas 中,一切都很完美):

0 投票
1 回答
424 浏览

python - 无法解析 modin 数据框中的一列 json 字符串(适用于 pandas)

我有一个要转换为 json 对象的 json 字符串数据框。df.col.apply(json.loads) 适用于 pandas,但在使用 modin 数据帧时失败。

例子:

0 投票
2 回答
4794 浏览

python - Modin之间的比较| 黄昏 | 数据表 | 用于并行处理和内存不足 csv 文件的 Pandas

Dask 的根本区别和主要用例是什么?莫丁 | 数据表

我检查了每个库的文档,它们似乎都为熊猫限制提供了一个“类似”的解决方案

0 投票
1 回答
2210 浏览

python - 如何将 Modin pandas 数据框附加到其他数据框?

我正在对每个文件大约6GB的大文件执行计算,并遇到了我听说与 pandas 相比优化的Modin pandas。

我需要分块读取 CSV 文件并对其执行计算并将其附加到大数据帧并再次将大数据帧转换为CSV文件。

这与Pandas完全兼容。但是即使是小文件也需要花费太多时间。我什至无法想象6GB的文件。

但是,当我尝试对 modin pandas 做同样的事情时,它无法将数据框附加到我想要转换为 csv 文件的大数据框。

任何人都可以提出任何替代方案或解决方案。

代码。

使用 Modin pandas 附加数据帧时出错。

UserWarning:DataFrame.append对于默认为 pandas 实现的空 DataFrame。

文件“/home/tony/.local/lib/python3.6/site-packages/pandas/core/reshape/concat.py”,第 289 行,在__init__raise TypeError(msg)

TypeError:无法连接类型为“”的对象;只有 pd.Series、pd.DataFrame 和 pd.Panel(已弃用)obj 有效

我已经浏览了这个链接,据说熊猫的.append()功能部分( P )在 Modin 中实现。

0 投票
1 回答
783 浏览

pandas - Modin read_csv 问题

我正在尝试使用 modin 读取 csv 文件,并导致以下错误。这个问题似乎发生在所有数据帧操作上:

RayWorkerError:工作人员在执行此任务时意外死亡。

Python 3.7.3 Pandas 0.24.2 Modin 0.5.4 Ray 0.7.1

0 投票
2 回答
4392 浏览

python-3.x - 无法完全安装和导入 Modin 包

我正在尝试使用该modin包来加快我的 pandas 数据框计算。简而言之,安装并不像pip install modin

当简单地运行时,pip install modin一切似乎都很好(除了 pip 升级警告)。到目前为止一切都很好...

然后我尝试仅导入包:import modin.pandas as pd根据文档,我得到以下回溯:

好吧...所以我按照他们告诉我的去做。运行pip install modin[dask],我收到以下...

好的,好的,看起来我已经安装了所有东西......让我们再次尝试导入......

这会产生相同的回溯:

我做错了什么?谢谢!

0 投票
0 回答
65 浏览

python - 在 macOS 上导入 matplotlib 时出现运行时错误

在我的 Mac 上使用 dask 安装 Modin 并尝试并行化一些 pandas 代码后,出现以下错误:

这是堆栈跟踪的一部分:

我之前遇到过这个错误,并且能够通过安装py并使用python而不是python运行脚本来解决问题,那么为什么matplotlib突然认为我没有将python安装为框架?

我运行 pip install “modin[dask]”,然后 pip install “dask[dataframe]”,然后导入 modin.pandas。任何帮助将非常感激。

0 投票
1 回答
697 浏览

pandas - 将两个 pandas 数据帧与 modin.pandas 合并会产生 ValueError

为了让我的 pandas 代码更快,我安装了 modin 并尝试使用它。以前工作的两个数据框的合并给了我以下错误:

这是两个数据框的信息:

以下是 event_df 中的一些行:

这里是 other_df 的 3 行:

我尝试安装此问题中引用的版本Join two modin.pandas.DataFrame(s),但没有帮助。

这是引发错误的代码行:

modin 的合并功能似乎存在一些问题。是否有任何解决方法,例如使用 pandas 进行合并和使用 modin 进行 groupby.transform()?在与 import modin.pandas 合并后,我尝试覆盖 pandas 导入,但出现错误,提示在分配之前引用了 pandas。有没有人遇到过这个问题,如果有,有解决方案吗?