问题标签 [cudf]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
1256 浏览

attributeerror - cuDF 用于文本/字符串

我是 cuDF 的新手,可能不了解构造的目的,所以这是一个非常普遍的问题。我有一个主要包含字符串列的数据集,我希望使用 apply_rows 来执行字符串的处理,但是,我意识到这可能只适用于数字数据。

这是我在大多数网站中引用的示例:

如果我将其更改为

它报告类似 AttributeError: 'nvstrings' object has no attribute 'to_gpu_array' 的错误。

这是否设计为仅适用于数值?我假设这是为了处理矩阵类型的操作而设计的,这就是这个约束的原因。有人可以在这里提供一些见解吗?

0 投票
1 回答
316 浏览

numba - cuDF - groupby UDF 支持日期时间

我有一个包含以下列的 cuDF 数据框:

( dt) 的形式datetime64[ns]

我想编写一个 UDF 以应用于此数据框中的每个组,并dt为每个组获取最大值。这是我正在尝试的,但似乎numba不支持datetime64[ns]UDF 中的值。

这是我得到的错误:

我有类似的函数,可以很好地处理整数和浮点数。这是否意味着 numba 不支持日期时间?

0 投票
1 回答
126 浏览

python - 是否有一种更快/可优化的方法来从 python 中唯一元素的集合/列表中找到唯一组合

我试图从 n 个元素中找到所有可能的唯一组合,一次取 m 个。我已经使用了itertools.combinations并且我有n=85。因此,当我找到m=5的组合时,产生的组合数量约为 3 cr,这需要很长时间,因为到目前为止,元素是字符串列表,或者更准确地说,它们是按字母顺序排列的列,而不是数字索引。我目前正在使用pandas和 itertools.combinations,想知道查找组合的过程是否可以并行化,每次在我进一步对列执行的进一步计算时给出相同的结果,或者GPU 数据帧(如 cuDF)是否可以优化这一点,尽管它看起来不像。此外,是否可以将列名转换为数字,然后将其转换为numpy 数组以在查找组合的同时更快地工作?还请提出解决方案,在这些解决方案中,这也可以在其他一些编程语言中更快地完成。不是一个很好的程序员。希望看到一些具有复杂性分析的数学和编程解决方案。

0 投票
1 回答
38 浏览

python - cuDF 中的 .data 函数不返回

我正在尝试使用 nvstrings 进行一些操作,但 .data 正在返回 None

数据集 https://s3-ap-south-1.amazonaws.com/av-blog-media/wp-content/uploads/2019/01/train.csv

有什么帮助吗?

0 投票
1 回答
306 浏览

python - 将 pandas 数据帧转换为 cudf 数据帧时,缓冲区大小必须能被元素大小整除

我有一个数据框,其中有一列是用引号编码的逗号分隔值,即字符串对象。前任:

我能够将字符串格式的值列表转换为 NumPy 数组,并且能够成功执行我的操作。

直到现在我没有任何问题。但是func运行预测模型非常耗时,数据帧大小为 200 万条记录。

因此,我尝试了 python 中的 cudf 包来利用 Pandas 上的 GPU 功能,例如数据帧。这里问题出现了

当我应用相同的操作时,它因错误而失败,该错误基本上无法将类似字符串的对象转换为 NumPy 数组。错误如下

可能的解决方案是什么?

0 投票
1 回答
383 浏览

python - cuDF - 不利用 GPU 内核

我是使用 cuDF 的 python 中的以下代码来加快进程。但与我的 4 核本地计算机 cpu 相比,我看不出速度有任何差异。 GPU 配置为 4 x NVIDIA Tesla T4

我在这里缺少什么?

0 投票
2 回答
184 浏览

python - 如何为 cuda 9.0 设置 cudf

我有 Cuda 9.0 版本,我试过了

pip install cudf==0.6.1

错误:找不到满足 cudf==0.6.1 要求的版本(来自版本:无) 错误:没有找到 cudf==0.6.1 的匹配分布

0 投票
1 回答
1289 浏览

python - 需要帮助将 cuDF Dataframe 转换为 cupy ndarray

我想将 cuDF 数据帧转换为 cupy ndarray。我在下面使用这个代码:

输出:

我收到此错误是因为数据集有空值。我怎样才能做到这一点??

0 投票
0 回答
194 浏览

python - 基于 GPU 的组合解析器与表分组操作

给定一个包含许多列的表

迭代所有列组合(所有长度)并执行 GROUP BY 操作的最有效方法是什么?作为表和esp。组合可以很大 (2^n),最好有GPU 支持

0 投票
2 回答
690 浏览

python - 已下载 GPU 驱动程序(cuda、cudf 等)但无法正常工作

我的 gpu 是 gtx 2070。我遵循了https://github.com/rapidsai/cudf的每一步(我使用“用于 CUDA 10.1 ”的步骤)但没有运气。我无法使用我的 gpu 电源。我还多次重新安装了 ubuntu 操作系统和那些驱动程序。有谁知道如何解决这个问题?我已经在这一步中挣扎了几个月......欣赏它!!!!

操作系统:ubuntu 16.04
驱动版本:430.64
CUDA 版本:10.1
python=3.6
cudf==0.13.0
版本是兼容的链接但是为什么我不能用我的gpu运行代码?每次我在终端中运行我的代码时,它都会显示以下错误:

我运行的代码: