3

我想在Cloud Dataproc上使用Jupyter/ iPython 。创建新集群时如何自动安装和配置它？

4

2 回答 2

3

Cloud Dataproc 团队有一个初始化操作的GitHub 存储库，其中包含示例和常用的初始化操作。存储库中有一个专门针对iPython的版本，您可以使用它来自动安装和配置 iPython。初始化操作页面提供了有关在创建新集群时如何使用脚本的更多详细信息。

tl;dr 过程：

  1. 下载iPython 的初始化操作
  2. 将初始化操作保存到 Google Cloud Storage 存储桶中

  3. 使用以下标志使用Google Cloud SDK创建一个新集群：--initalization-actions

    gcloud beta dataproc clusters create <my-dataproc-cluster> --initialization-actions gs://<my-bucket>/ipython.sh

  4. 为集群创建 SSL 隧道和 SOCKS 代理

  5. 打开 Web 浏览器到主节点http://<my-dataproc-cluster>-m:8123

在上面的示例中，您需要替换<my-bucket>为 Cloud Storage 存储桶<my-dataproc-cluster>的名称和集群的名称。另请注意，对于第 5 步，URL 应在-m您的集群名称中添加一个，以便您访问您的主节点。

于 2015-10-13T20:27:31.297 回答
0

除了上一个答案之外，本文还详细描述了此过程。此外，它还涵盖了 Python 3 和将笔记本保存在 Cloud Storage 中。

于 2016-08-22T12:54:09.247 回答