我的任务是通过 Papermill 操作员自动安排一些日常运行的笔记本，这些笔记本在 AI 平台笔记本上，但实际上通过 Cloud Composer 执行此操作给我带来了一些麻烦。
任何帮助表示赞赏！
问问题
2823 次
2 回答
0
第一步是创建 Jupyter Lab Notebook。如果要使用其他库，请安装它们并重新启动内核（Restart Kernel and Clear All Outputs选项）。然后，在 Notebook 中定义处理。
准备就绪后，在开始计划阶段之前删除所有运行、窥视和试运行。
现在，您需要设置 Cloud Composer 环境（请记住安装您在第一步中定义的附加包）。要安排工作流，请转到 Jupyter Lab 并创建DAG从工作流生成的第二个笔记本。
最后一步是将压缩的工作流上传到 Cloud ComposerDAGs文件夹。您可以使用 Airflow UI 管理您的工作流程。
我建议你看看这篇文章。
您可以使用的另一个解决方案是Kubeflow，它旨在在 Kubernetes 上运行 ML 工作负载。Kubeflow 向您的集群添加了一些资源以协助完成各种任务，包括训练和服务模型以及运行 Jupyter Notebook。您可以在codelabs上找到有趣的教程。
我希望您发现上述信息有用。
于 2020-01-30T10:41:21.837 回答
0
这篇关于 Medium的博文“如何在 Google Cloud Platform 上部署和调度 Jupyter Notebook”，描述了如何在 Compute Engine 实例上运行 Jupyter notebook 作业并使用 GCP 的 Cloud Scheduler > Cloud Pub/Sub > Cloud Functions 进行调度。（不幸的是，该帖子可能是付费的。）
如果您必须使用 Cloud Composer，那么您可能会发现此相关问题的答案“由Jupyter Notebooks 和 Papermill 辅助的气流中的 ETL”很有用。
于 2021-02-27T18:48:42.133 回答