问题标签 [rapids]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 如何安装 cuML 模块?
我在我的 jupyter 笔记本中启动了这个命令
我有这个错误:
错误:找不到满足 cuml 要求的版本(来自版本:无) 错误:没有找到 cuml 的匹配分布
请问我该如何解决(我在windows上)?
python - MultiGPU Kmeans 聚类与 RAPID 冻结
我是 Python 和 Rapids.AI 的新手,我正在尝试使用 Dask 和 RAPIDs 在多节点 GPU(我有 2 个 GPU)中重新创建 SKLearn KMeans(我正在使用带有它的 docker 的 rapids,它也安装了一个 Jupyter Notebook)。
我在下面显示的代码(也显示了 Iris 数据集的示例)冻结并且 jupyter notebook 单元永远不会结束。我尝试使用%debug
魔法键和 Dask 仪表板,但我没有得出任何明确的结论(我认为可能是唯一的结论device_m_csv.iloc
,但我不确定)。另一件事可能是我忘记了一些wait()
或compute()
或persistent()
(真的,我不确定在什么情况下应该正确使用它们)。
我将解释代码,以便更好地阅读:
- 首先,做需要的进口
- 接下来,从 KMeans 算法开始(分隔符:#######################...)
- 创建一个 CUDA 集群,有 2 个工作人员,每个 GPU 一个(我有 2 个 GPU)和 1 个工作线程(我已阅读这是推荐值)并启动一个客户端
- 从 CSV 读取数据集制作 2 个分区 (
chunksize = '2kb'
) - 将以前的数据集拆分为数据(更称为
X
)和标签((更称为y
) - 使用 Dask 实例化 cu_KMeans
- 适合模型
- 预测值
- 检查获得的分数
很抱歉无法提供更多数据,但我无法获得。任何需要解决疑问的东西我都会很乐意提供。
您认为问题出在哪里或是什么?
非常感谢您提前。
鸢尾花数据集示例:
编辑 1
@Corey,这是我使用您的代码的输出:
python - 为什么 CPU(使用 SKLearn)和 GPU(使用 RAPID)上的 RandomForestClassifier 获得不同的分数,非常不同?
我在带有 SKLearn 的 CPU 和使用 RAPID 的 GPU 上使用 RandomForestClassifier。我正在这两个库之间做一个关于使用 Iris 数据集加速和评分的基准测试(这是一个尝试,在未来,我将更改数据集以获得更好的基准测试,我从这两个库开始)。
问题是当我在 CPU 上测量分数时总是得到 1.0 的值,但是当我尝试在 GPU 上测量分数时,我得到一个介于 0.2 和 1.0 之间的变量值,我不明白为什么会发生这种情况。
首先,我使用的库版本是:
我用于 SKLearn RandomForestClassifier 的代码是:
我用于 RAPIDs RandomForestClassifier 的代码是:
我正在使用的 iris 数据集的一个示例是:
你知道为什么会这样吗?两个模型设置相同,参数相同,......我不知道为什么分数之间存在如此大的差异。
谢谢你。
machine-learning - 达斯克与急流。急流提供什么 dask 没有?
我想了解 dask 和 rapids 有什么区别,rapids 提供了哪些 dask 没有的好处。
Rapids 内部是否使用 dask 代码?如果是这样,那么为什么我们有 dask,因为即使 dask 也可以与 GPU 交互。
gpu - 如何用rapids.ai在GPU中的两个DataFrame之间做矩阵点积
我正在使用 CUDF,它是 Nvidia 的 rapids ML 套件的一部分。
使用这个套件,我将如何在两个 DataFrame 之间进行点积?
例如,我将如何在上述数据帧上执行点积?
python - cuDF 中的 .data 函数不返回
我正在尝试使用 nvstrings 进行一些操作,但 .data 正在返回 None
数据集 https://s3-ap-south-1.amazonaws.com/av-blog-media/wp-content/uploads/2019/01/train.csv
有什么帮助吗?
docker - 持久 pip 安装在 rapids.ai docker 容器中
这可能是一个非常愚蠢的问题,但必须从某个地方开始。我正在使用 NVDIA 的 rapids.ai gpu-enhanced docker 容器,但这(可能是设计使然)不附带 pytorch。现在,当然,我可以pip install torch torch-ignite
每次都做,但这既烦人又耗费资源(而且 pytorch 是一个大下载量)。pip install
将a 持久保存在容器中的批准方法是什么?
python - 需要帮助将 cuDF Dataframe 转换为 cupy ndarray
我想将 cuDF 数据帧转换为 cupy ndarray。我在下面使用这个代码:
输出:
我收到此错误是因为数据集有空值。我怎样才能做到这一点??
docker - Rapids / docker:无法选择具有功能的设备驱动程序“”:[[gpu]]
我是 Rapids 的新手,很少有使用 conda 的良好体验。所以我正在尝试使用容器化版本。我是 Docker 新手,未知数的组合让我无法理清问题。
我有一个 Ubuntu 18.04 服务器,
我在上面安装了新版本的 Docker
本机已安装 cuda v10.2
和 Python v3.6.9
如NVIDIA Container Toolkit Quickstart部分所示,我将 nvidia-docker 列表安装到 /etc/apt/sources.list.d/
明确替换ubuntu18.04
$distribution,因为这是Linux Mint 19.3 的 Ubuntu 等价物。
按照RAPIDS - Open GPU Data Science中的 Start Container and Notebook Server 说明,我拉取了 0.13-cuda10.2-runtime-ubuntu18.04-py3.6 运行时。
很长一段时间,几 GB 之后,一切似乎都还好。(没有警告或错误消息。)此外,该图像看起来像是在 Docker 中注册的。
但是,我接下来尝试启动笔记本服务器:
这似乎令人惊讶,因为检测到两个 GTX 1080 Ti GPU
收拾东西后
我重新安装了 docker 并再次拉取了 rapidsai 图像。结果没有改变。
与 NVIDIA Driver Version: 440.33.01 是否有冲突?
有什么建议么?