1

我有几个笔记本，它们由使用造纸机的“驱动程序”笔记本运行。这些笔记本使用剪贴簿库将信息传达给驾驶员。然后驱动程序将此信息作为参数传递给其他笔记本。我想使用 EMR Notebooks 来优化这个“笔记本管道”的执行效率。AWS EMR Notebooks 是否支持剪贴簿和纸厂，还是我需要重构我的笔记本？

4

1 回答 1

1

就目前而言，没有。你不能直接这样做。您可以做的（我们正在做的）如下：

  1. hadoop使用用户在您的 EMR 主节点上创建 python 环境
  2. 在您的环境中安装sparkmagic并按照 sparkmagic 的 README.md 文件中的说明配置所有内核
  3. 将您的笔记本复制到主节点/直接从 s3 位置使用它

  4. 安装 papermill 并使用 papermill 运行：

    papermill s3://path/to/notebook/input.ipynb s3://path/to/notebook/output.ipynb -p param=1

于 2020-02-06T11:36:03.873 回答