google-colaboratory - 在 Googe Colab 笔记本上安装 RAPIDS 库

Question

我想知道我是否可以在 Google Colaboratory notebook 中安装RAPIDS库（完全在 GPU 上执行机器学习任务）？

我已经做了一些研究，但我一直无法找到这样做的方法......

Answer 1

现在可以使用新的 T4 实例https://medium.com/rapids-ai/run-rapids-on-google-colab-for-free-1617ac6323a8

要启用 cuGraph，您可以将 wget 命令替换为：

!conda install -c nvidia/label/cuda10.0 -c rapidsai/label/cuda10.0 -c pytorch \ -c numba -c conda-forge -c numba -c defaults \ boost cudf=0.6 cuml=0.6 python=3.6 cugraph=0.6 -y

Answer 2

2019 年 12 月更新

RAPIDS v0.11+ 的新流程

因为

• RAPIDS v0.11 具有先前安装脚本未涵盖的依赖项 (pyarrow)，
• notebooks-contrib 存储库，其中包含 RAPIDS 演示笔记本（例如 colab_notebooks）和 Colab 安装脚本，现在遵循 RAPIDS 标准版本特定的分支结构*
• 一些 Colab 用户仍然喜欢 v0.10，

我们尊敬的 notebooks-contrib 霸主taureandyernv更新了现在的脚本：

如果运行 v0.11 或更高版本，请将 pyarrow 库更新到 0.15.x。

以下是在 Colab v0.11 中运行的代码单元：

# Install RAPIDS
!wget -nc https://raw.githubusercontent.com/rapidsai/notebooks-contrib/890b04ed8687da6e3a100c81f449ff6f7b559956/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

dist_package_index = sys.path.index("/usr/local/lib/python3.6/dist-packages")
sys.path = sys.path[:dist_package_index] + ["/usr/local/lib/python3.6/site-packages"] + sys.path[dist_package_index:]
sys.path
if os.path.exists('update_pyarrow.py'): ## This file only exists if you're using RAPIDS version 0.11 or higher
  exec(open("update_pyarrow.py").read(), globals())

如需了解如何设置 Colab 并实现此脚本，请参阅如何在 Google Colab 中安装 RAPIDS

-* 例如，v0.11 的branch-0.11和 v0.12 的branch-0.12，默认设置为当前版本

Answer 3

看起来各种子部分还不能通过 pip 安装，所以让它们在 colab 上的唯一方法是在 colab 上构建它们，这可能比你有兴趣投资更多的努力:) https://github.com /rapidsai/cudf/issues/285是 rapidsai/cudf 需要注意的问题（可能其他 rapidsai/ 库也会效仿）。

Answer 4

最新解决方案；

!wget -nc https://github.com/rapidsai/notebooks-extended/raw/master/utils/rapids-colab.sh
!bash rapids-colab.sh

import sys, os

sys.path.append('/usr/local/lib/python3.6/site-packages/')
os.environ['NUMBAPRO_NVVM'] = '/usr/local/cuda/nvvm/lib64/libnvvm.so'
os.environ['NUMBAPRO_LIBDEVICE'] = '/usr/local/cuda/nvvm/libdevice/'

几天前被推送，请参阅问题#104或#110或完整rapids-colab.sh 脚本以获取更多信息。

注意：目前需要一个 Tesla T4 实例，可以通过以下方式进行检查；

# check gpu type
!nvidia-smi

import pynvml

pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
device_name = pynvml.nvmlDeviceGetName(handle)

# your dolphin is broken, please reset & try again
if device_name != b'Tesla T4':
  raise Exception("""Unfortunately this instance does not have a T4 GPU.
    
    Please make sure you've configured Colab to request a GPU instance type.
    
    Sometimes Colab allocates a Tesla K80 instead of a T4. Resetting the instance.

    If you get a K80 GPU, try Runtime -> Reset all runtimes...""")
  
# got a T4, good to go 
else:
  print('Woo! You got the right kind of GPU!')