问题标签 [cudf]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
73 浏览

python - 如何在 dask_cudf 和 cudf 中使用 tqdm 进度条

例如,我可以tqdm在熊猫中使用进度条:

我可以做同样的事情吗?cudf如果dask_cudf没有,我怎么能在其中使用 tqdm 进度条,

0 投票
1 回答
141 浏览

python - cudf 读取 csv 文件错误:字符串的总大小对于 cudf 列来说太大了

我使用 colab 并使用一个巨大的 csv 文件(3GB,17540000 条记录)运行 cudf.read_csv(),但结果是错误的。

错误信息是

0 投票
0 回答
25 浏览

python - Python cuDF 不能在 UDF 中使用 cuDF 数据框函数

我正在尝试使用 cuDF row_apply 根据其他行计算新列。

对于单行,它适用于以下脚本 filteredhlcdf.loc[(filteredhlcdf.ddate == %%Ddate%%) & (filteredhlcdf.sstart == %%sTime%%) & (filteredhlcdf.ttime <= %%etime%%) & (filteredhlcdf.H > %%ustep%%) , "ttime" ].min() ,其中 %% 之间的变量被常量替换。

但是,当我尝试按如下方式使用行应用时,会产生错误

我确定错误发生在以下行

因为错误在被替换后消失了ctime[i] = tddate + tstime + tetime+ tdsteps

0 投票
1 回答
420 浏览

python - 无法使用 rapids.ai 版本 21.08 将 cudf、cupy 和 cuml 安装到 colab 中

我正在尝试按照本教程在 google colab pro 上安装 cudf 和 cuml:rapids_cudf.ipynb - Colaboratory

但是在运行以下代码块之后:

我收到以下错误:

我有以下 GPU:colab pro 上的 b'Tesla P100-PCIE-16GB'。

运行上面给出的代码块后,python 版本为:Python 3.6.5 :: Anaconda, Inc.

这些是其他规格:

输出:

输出:

我已经尝试遵循StackOverflow的本教程,但无法安装 cudf 或 cuml。

0 投票
1 回答
53 浏览

python - 为“cudf”做“diff”的最有效方法是什么

rapids.ai cudf类型与 有点兼容pandas,但这里有一个奇怪的不兼容。cudf.Series有一个.diff()方法,但 acudf.DataFrame似乎没有。这是非常烦人的(例如,考虑一个股票价格数据框,其中的列对应于工具)。当然,有一些笨拙的方法可以解决这个问题(转换为 pandas 数据框并回到脑海中),但我想知道规范的方法是什么。有什么建议吗?

0 投票
1 回答
54 浏览

python - 如何将顶点前驱数据框转换为路径?

我正在使用 cuGraph 来计算图形的最短路径,但它没有返回到特定顶点的最短路径,而是创建了一个距离顶点前驱表:

如何使用此图获取特定顶点的路径?

我知道我可以循环遍历它直到到达顶点 0,但这听起来效率不高。有没有办法使用矢量化来保持效率?

0 投票
1 回答
61 浏览

python - 在没有 conda 的情况下安装 cudf

在 google colab 上,我安装了 conda,然后通过 conda 安装了 cudf。但是现在我需要重新安装我在代码中使用的所有包,如 sklearn 等。有没有办法在没有 conda 的情况下安装 cudf ?pip 不再适用于 cudf。此外,如果有其他类似的 gpu 数据框可以使用 pip 安装,那将有很大帮助。

0 投票
1 回答
67 浏览

python - 有没有使用 CuGraph 找到 girvan newman 的方法?

我一直在使用 networkx 的 Girvan-Newman 算法来查找具有 4039 个节点和 88,234 个边的网络的模块化。由于算法的性质,它在一夜之间运行,并且不会完成。因此,我支付了 colab pro 的费用,并打算使用 CuGraph 来加快速度,但找不到有效的 CuGraph 算法。我如何能够构建一个,使用边缘中心性算法,以产生类似这样的东西:

0 投票
0 回答
36 浏览

user-defined-functions - cuDF 滚动 UDF 不适用于 cuPY 函数

我正在尝试编写一个 cuDF-UDF,它计算与 cuDF 系列的 lag==1 的 pearson 自相关。

我已经定义了以下 UDF:

然后采取一系列并将滚动窗口应用于函数。

然后我面临错误:

以下熊猫代码正在运行:

我在 python 3.8.12 上使用 rapids-21.10

0 投票
1 回答
215 浏览

ubuntu - 为什么在 WSL 中使用 RAPIDS 时出现 CUDA 内存错误?

我在 Windows 21H2 (19044.1348) 下安装了 WSL 2 (5.10.60.1-microsoft-standard-WSL2),并使用带有 pascal GPU (1070) 的 NVidia 驱动程序 510.06。我在 WSL (20.04.3 LTS) 中使用默认的 ubuntu 版本,我尝试了 docker 和 anaconda 版本。我可以运行 Jupiter Notebook 并导入库。您还可以创建一个 cudf 数据报。但是写入它或 ding 其他任何东西都会导致内存错误。

给了我(有一次它运行时没有错误,但现在没有了)

给我

如果这是相关的,我的系统内存总是接近满(16GB),Vmmem 合作在 10GB 左右,我的图形内存只有 1.4/8GB