我无法查看通过 Azure 数据工厂中的笔记本活动执行的数据块作业的 spark-ui。
有谁知道需要添加哪些权限才能启用相同的权限？
问问题
65 次
1 回答
0
- 更新
确保您对 PROD env具有集群级别的权限
作业有五个权限级别：无权限、可以查看、可以管理运行、是所有者和可以管理。默认情况下，管理员被授予可以管理权限，他们可以将该权限分配给非管理员用户。
下一个...
无需任何额外设置即可在 Spark UI 中查看已完成的作业。
您在 Notebook 中所做的事情可能并不构成 Spark 作业。
注意：作业 由多个任务组成的并行计算，这些任务响应 Spark 操作（例如保存、收集）而产生；您会在驱动程序日志中看到该术语。
您可以获得有关活动和终止的集群的详细信息。如果您重新启动终止的集群，Spark UI 会显示重新启动集群的信息，而不是终止集群的历史信息。
因此，如果我运行一个笔记本，其任务是简单地显示我的装载，或者任务失败或异常，它不会在 Spark UI 中列出。
#job/83没有看到
于 2021-11-10T04:54:21.320 回答