问题标签 [cudf]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 如何在 dask_cudf 和 cudf 中使用 tqdm 进度条
例如,我可以tqdm
在熊猫中使用进度条:
我可以做同样的事情吗?cudf
如果dask_cudf
没有,我怎么能在其中使用 tqdm 进度条,
python - cudf 读取 csv 文件错误:字符串的总大小对于 cudf 列来说太大了
我使用 colab 并使用一个巨大的 csv 文件(3GB,17540000 条记录)运行 cudf.read_csv(),但结果是错误的。
错误信息是
python - Python cuDF 不能在 UDF 中使用 cuDF 数据框函数
我正在尝试使用 cuDF row_apply 根据其他行计算新列。
对于单行,它适用于以下脚本
filteredhlcdf.loc[(filteredhlcdf.ddate == %%Ddate%%) & (filteredhlcdf.sstart == %%sTime%%) & (filteredhlcdf.ttime <= %%etime%%) & (filteredhlcdf.H > %%ustep%%) , "ttime" ].min()
,其中 %% 之间的变量被常量替换。
但是,当我尝试按如下方式使用行应用时,会产生错误
我确定错误发生在以下行
因为错误在被替换后消失了ctime[i] = tddate + tstime + tetime+ tdsteps
python - 无法使用 rapids.ai 版本 21.08 将 cudf、cupy 和 cuml 安装到 colab 中
我正在尝试按照本教程在 google colab pro 上安装 cudf 和 cuml:rapids_cudf.ipynb - Colaboratory
但是在运行以下代码块之后:
我收到以下错误:
我有以下 GPU:colab pro 上的 b'Tesla P100-PCIE-16GB'。
运行上面给出的代码块后,python 版本为:Python 3.6.5 :: Anaconda, Inc.
这些是其他规格:
输出:
输出:
我已经尝试遵循StackOverflow的本教程,但无法安装 cudf 或 cuml。
python - 为“cudf”做“diff”的最有效方法是什么
该rapids.ai
cudf
类型与 有点兼容pandas
,但这里有一个奇怪的不兼容。cudf.Series
有一个.diff()
方法,但 acudf.DataFrame
似乎没有。这是非常烦人的(例如,考虑一个股票价格数据框,其中的列对应于工具)。当然,有一些笨拙的方法可以解决这个问题(转换为 pandas 数据框并回到脑海中),但我想知道规范的方法是什么。有什么建议吗?
python - 如何将顶点前驱数据框转换为路径?
我正在使用 cuGraph 来计算图形的最短路径,但它没有返回到特定顶点的最短路径,而是创建了一个距离顶点前驱表:
如何使用此图获取特定顶点的路径?
我知道我可以循环遍历它直到到达顶点 0,但这听起来效率不高。有没有办法使用矢量化来保持效率?
python - 在没有 conda 的情况下安装 cudf
在 google colab 上,我安装了 conda,然后通过 conda 安装了 cudf。但是现在我需要重新安装我在代码中使用的所有包,如 sklearn 等。有没有办法在没有 conda 的情况下安装 cudf ?pip 不再适用于 cudf。此外,如果有其他类似的 gpu 数据框可以使用 pip 安装,那将有很大帮助。
python - 有没有使用 CuGraph 找到 girvan newman 的方法?
我一直在使用 networkx 的 Girvan-Newman 算法来查找具有 4039 个节点和 88,234 个边的网络的模块化。由于算法的性质,它在一夜之间运行,并且不会完成。因此,我支付了 colab pro 的费用,并打算使用 CuGraph 来加快速度,但找不到有效的 CuGraph 算法。我如何能够构建一个,使用边缘中心性算法,以产生类似这样的东西:
user-defined-functions - cuDF 滚动 UDF 不适用于 cuPY 函数
我正在尝试编写一个 cuDF-UDF,它计算与 cuDF 系列的 lag==1 的 pearson 自相关。
我已经定义了以下 UDF:
然后采取一系列并将滚动窗口应用于函数。
然后我面临错误:
以下熊猫代码正在运行:
我在 python 3.8.12 上使用 rapids-21.10
ubuntu - 为什么在 WSL 中使用 RAPIDS 时出现 CUDA 内存错误?
我在 Windows 21H2 (19044.1348) 下安装了 WSL 2 (5.10.60.1-microsoft-standard-WSL2),并使用带有 pascal GPU (1070) 的 NVidia 驱动程序 510.06。我在 WSL (20.04.3 LTS) 中使用默认的 ubuntu 版本,我尝试了 docker 和 anaconda 版本。我可以运行 Jupiter Notebook 并导入库。您还可以创建一个 cudf 数据报。但是写入它或 ding 其他任何东西都会导致内存错误。
给了我(有一次它运行时没有错误,但现在没有了)
和
给我
如果这是相关的,我的系统内存总是接近满(16GB),Vmmem 合作在 10GB 左右,我的图形内存只有 1.4/8GB