当 DataFusion 运行数据管道时,它会保持在配置状态,然后停止。
因此,无法创建 Dataproc。
Dataproc 的设置如下:
- Master
- Number of masters : 1
- Master Cores : 2
- Master Memory(GB) : 4
- Master Disk Size(GB) : 1000
- Worker
- Number of Workers : 2
- Worker Cores : 4
- Worker Memory(GB) : 16
- Worker Disk Size(GB) : 1500
在数据管道中,驱动程序和执行程序如下:
- Executor
- CPU : 2
- Memory : 4
- Driver
- CPU : 2
- Memory : 4
如果我真的在 Google Cloud Console 窗口中查看 dataproc,它将被配置然后消失。请分享您对如何解决此问题的意见。