问题标签 [rapids]

Currently I am studying the usage of Apache Spark 3.0 with Rapids GPU Acceleration. In the official spark-rapids docs I came across this page which states:

There are cases where you may want to get access to the raw data on the GPU, preferably without copying it. One use case for this is exporting the data to an ML framework after doing feature extraction.

To me this sounds as if one could make data that is already available on the GPU from some upstream Spark ETL process directly available to a framework such as Tensorflow or PyTorch. If this is the case how can I access the data from within any of these frameworks? If I am misunderstanding something here, what is the quote exactly referring to?

我在终端中使用以下行安装rapids，然后安装dask cudf：

但是当我将 dask_cudf 导入 python 笔记本时：

我收到以下错误：

为什么找不到模块？

我正在使用以下代码将 csv 文件加载到 dask cudf 中，然后为 xgboost 创建一个产生错误的 devicequantilematrix：

错误：

我不知道这个错误是由什么引起的，因为它除了“断言错误”之外什么也没说。我有一个太大的数据集，无法读入单个 GPU，因此当我从磁盘读取数据时，我使用 dask_cudf 将其拆分，然后将其直接输入 XGBoost 所需的数据结构。我不确定它是 dask_cudf 问题还是 XGBoost 问题。

当我坚持使用“等待”时出现新错误：

是否可以在 JETSON NANO 上运行 RAPIDS 等数据科学工具？经过一番搜索，我仍然不是很清楚......另外，如果是这样，数据分析在它上面会比在 CPU 上运行得更快吗？任何见解将不胜感激。谢谢。

在 Ubuntu 上的 Jupyter Notebook 中运行 PySpark 时，我有时会遇到 Java 失败的问题。我想要的是从 Java 端查看错误，因为我所看到的通常是 Python 的很长的一般错误，可以总结为：

这个错误可能意味着很多事情，它根本没有帮助。通常这意味着 Java 崩溃了，但我想知道究竟是为什么。

我需要这些日志的示例是，例如，我尝试在 DGX-1 机器上的 PySpark 上运行 Rapids，但在初始化 Spark 上下文时，它会像 abo 一样以 Java 崩溃告终。这不是这些错误的唯一原因，但这段代码很容易在我这边导致这些错误。

我的问题：有没有办法以某种方式捕获 PySpark 运行的 Java 进程的标准输出（使用 pyspark/jupyter/Ubuntu）以了解 Java 崩溃的真正原因？

我正在尝试使用 NVIDIA 提供的以下内容在 Google Colab 的 Tesla P-100CE 上安装 NVIDIA Rapids。

执行此操作后，我收到如下错误：

有人在 Google Colab 中遇到过这个错误吗？如何解决这个问题？任何帮助在这里表示赞赏。

谢谢

I want to use cudf library in my projects and installed the rapids. It has been installed well, and here are some strings from outprint

However when trying to import cudf, I get

I have a suggestion that it could be connected to incompatible python versions, because when running an installation script

I got error

so I changed the python3.6 to python3.7 everywhere. Anyway, how could I fix this?

我在 rapidsai docker 容器内将 rapids UMAP 与 HDBSCAN 结合使用：rapidsai/rapidsai-core:0.18-cuda11.0-runtime-ubuntu18.04-py3.7

我得到一个错误，如果我使用它会修复core_dist_n_jobs=1但会使代码变慢：

-------------------------------------------------- ------------------------- 1 个集群中的 TerminatedWorkerError Traceback（最近一次调用最后一次）= hdbscan.HDBSCAN(min_cluster_size=1000, prediction_data=True, gen_min_span_tree =True) ----> 2 clusterer.fit(numpy_projected)

/opt/conda/envs/rapids/lib/python3.7/site-packages/hdbscan/hdbscan_.py in fit(self, X, y) 917 self._condensed_tree, 918 self._single_linkage_tree, --> 919 self._min_spanning_tree ) = hdbscan(X, **kwargs) 920 921 如果 self.prediction_data:

/opt/conda/envs/rapids/lib/python3.7/site-packages/hdbscan/hdbscan_.py in hdbscan(X, min_cluster_size, min_samples, alpha, cluster_selection_epsilon, metric, p, leaf_size, algorithm, memory, approx_min_span_tree, gen_min_span_tree , core_dist_n_jobs, cluster_selection_method, allow_single_cluster, match_reference_implementation, **kwargs) 613 approx_min_span_tree, 614 gen_min_span_tree, --> 615 core_dist_n_jobs, **kwargs) 616 else: # Metric is a valid BallTree metric 617 # TO DO: 需要启发式来决定何时去博鲁夫卡；

/opt/conda/envs/rapids/lib/python3.7/site-packages/joblib/memory.py in call (self, *args, **kwargs) 350 351 def call (self, *args, **kwargs) : --> 352 return self.func(*args, **kwargs) 353 354 def call_and_shelve(self, *args, **kwargs):

/opt/conda/envs/rapids/lib/python3.7/site-packages/hdbscan/hdbscan_.py in _hdbscan_boruvka_kdtree（X，min_samples，alpha，metric，p，leaf_size，approx_min_span_tree，gen_min_span_tree，core_dist_n_jobs，**kwargs）276 leaf_size=leaf_size // 3, 277 approx_min_span_tree=approx_min_span_tree, --> 278 n_jobs=core_dist_n_jobs, **kwargs) 279 min_spanning_tree = alg.spanning_tree() 280 # 按权重排序 min_spanning_tree 的边

hdbscan/_hdbscan_boruvka.pyx 在 hdbscan._hdbscan_boruvka.KDTreeBoruvka 算法中。初始化（）

hdbscan/_hdbscan_boruvka.pyx in hdbscan._hdbscan_boruvka.KDTreeBoruvkaAlgorithm._compute_bounds()

/opt/conda/envs/rapids/lib/python3.7/site-packages/joblib/parallel.py in call (self, iterable) 1052 1053 with self._backend.retrieval_context(): -> 1054 self.retrieve() 1055 # 确保我们收到最后一条消息，告诉我们完成了 1056
elapsed_time = time.time() - self._start_time

/opt/conda/envs/rapids/lib/python3.7/site-packages/joblib/parallel.py in retrieve(self) 931 try: 932 if getattr(self._backend, 'supports_timeout', False): --> 933 self._output.extend(job.get(timeout=self.timeout)) 934 else: 935 self._output.extend(job.get())

/opt/conda/envs/rapids/lib/python3.7/site-packages/joblib/_parallel_backends.py in wrap_future_result(future, timeout) 540 AsyncResults.get from multiprocessing.""" 541 try: --> 542 return future .result(timeout=timeout) 543 除了 CfTimeoutError as e: 544 raise TimeoutError from e

/opt/conda/envs/rapids/lib/python3.7/concurrent/futures/_base.py in result(self, timeout) 433 raise CancelledError() 434 elif self._state == FINISHED: --> 435 return self. __get_result() 436 else: 437 引发 TimeoutError()

/opt/conda/envs/rapids/lib/python3.7/concurrent/futures/_base.py in __get_result(self) 382 def __get_result(self): 383 if self._exception: --> 384 raise self._exception 385 else : 386 返回 self._result

TerminatedWorkerError：执行器管理的工作进程意外终止。这可能是由于调用函数时出现分段错误或内存使用过多导致操作系统杀死工作人员造成的。

工人的退出代码是 {EXIT(1)}

有没有办法解决这个问题，但仍然保持 HDBSCAN 快速？

我在我的项目中使用 dask (2021.3.0) 和 rapids(0.18)。在此，我在 CPU 上执行预处理任务，然后将预处理后的数据传输到 GPU 进行 K-means 聚类。但是在这个过程中，我遇到了以下问题：

1 个工作作业中有 1 个失败：std::bad_alloc:CUDA 错误：~/envs/include/rmm/mr/device/cuda_memory_resource.hpp:69:cudaErrorMemoryAllocation 内存不足（在完全使用 GPU 内存之前它给出了错误，即它是没有完全使用 GPU 内存）

我有一个大小为 40 GB 的 GPU。内存大小 512 GB。

我正在使用以下代码片段：

我也在寻找一种解决方案，以便可以对大于 GPU 内存的数据进行预处理，并且每当 GPU 内存溢出时，溢出的数据就会被传输到临时目录或 CPU 中（就像我们在 dask 中定义临时目录时所做的那样RAM 中有溢出）。

任何帮助都会得到帮助。

我有与这个问题完全相同的问题，除了cuxfilter（RAPIDS）中的实现

产量：