6

我有一个 spark 流应用程序，它运行得非常好，直到昨天，突然遇到这些警告。我有相同的环境并使用相同的代码。以下是警告：

05/09 17:13:03 INFO ExecutorAllocationManager：请求 16 个新执行器，因为任务积压（新的期望总数为 31） 16/05/09 17:13:03 INFO ExecutorAllocationManager：请求 19 个新执行器，因为任务积压（新所需的总数为 50）

16/05/09 17:13:12 WARN YarnScheduler：初始作业未接受任何资源；检查您的集群 UI 以确保工作人员已注册并拥有足够的资源

16/05/09 17:13:27 WARN YarnScheduler: Initial job 没有接受任何资源；检查您的集群 UI 以确保工作人员已注册并拥有足够的资源

我在 cloudera 5.5 上使用 apache spark 1.6。快速启动虚拟机。集群上没有运行应用程序来消耗可用资源。

有什么配置可以做吗？

谢谢！

4

1 回答 1

0

quickstart vm 旨在让您快速体验该功能，并且可能配置为“放入盒子中”而不是长期稳定性。

一般来说，我对沙盒和快速入门问题的建议是在需要时设置一个新的。

在这种特定情况下，快速入门适用于 CDH，其后继者 (CDP) 已经推出。

CDP，Cloudera 数据平台是 CDH 和 HDP 的继承者。

如果您想查看最新版本，有一个试用版可以满足您可能想要使用快速入门的大多数目的。这可以在这里下载。

全面披露：我是 CDH 和 CDP 背后的公司 Cloudera 的员工。

于 2020-10-24T10:03:15.040 回答