google-cloud-platform - GCP dataproc 在哪里存储笔记本实例？

Question

Dataproc我使用Jupyter Notebook附加到它创建了一个 Spark 集群。然后我删除了集群，我认为笔记本已经不见了。但是，在创建另一个集群（连接到同一个集群Bucket）之后，我可以看到我的旧笔记本。这是否意味着笔记本（或其检查点）存储在我的存储桶中？或者它们存储在哪里以及如何确保它们被删除？

Answer 1

Dataproc 允许创建分布式计算集群（Hadoop、Map reduce、spark...）。它仅用于处理（您可以将临时数据保存在内部 HDFS 系统中）但所有输入和输出并在存储桶中完成（云存储是 HDFS 的新/内部 Google 版本 -> HDFS 是规范的开源实现谷歌公开发布，此后谷歌内部改进了系统（云存储），但仍然兼容HDFS）。

因此，是的，您的数据仍在您的 Cloud Storage 存储分区中是正常的。