0

嗨，我正在使用 spark 提交脚本启动我的 Spark 应用程序

spark-submit --master spark://Maatari-xxxxxxx.local:7077 --class EstimatorApp /Users/sul.maatari/IdeaProjects/Workshit/target/scala-2.11/Workshit-assembly-1.0.jar  --d
eploy-mode cluster --executor-memory 15G num-executors 2

我在两个节点（我的 2 台笔记本电脑）上部署了一个 spark 独立集群。集群运行良好。默认情况下，它为工作程序设置 15G，为执行程序设置 8 个核心。现在我遇到以下奇怪的行为。虽然我明确设置了内存，这也可以在 sparconf UI 的环境变量中看到，但在集群 UI 中，它说我的应用程序的执行程序内存限制为 1024MB。这让我想到了默认的1G参数。我想知道为什么会这样。

集群用户界面 SparkConf UI 中的环境

由于内存问题，我的应用程序确实失败了。我知道该应用程序需要大量内存。

最后一个混淆点是驱动程序。为什么考虑到我处于集群模式，火花提交不会立即返回？我认为，鉴于驱动程序是在集群上执行的，客户端即提交应用程序应该立即返回。这进一步表明我的 conf 和事情的执行方式有些不对劲。

任何人都可以帮助诊断吗？

4

1 回答 1

1

两种可能：

  • 鉴于您的命令行--num-executors指定错误：Spark 也可能“放弃”其他设置。
  • 你的笔记本电脑有多少内存？我们大多数人都使用 mac 的 ..，然后根据我的经验，您将无法以超过 8GB 的​​容量运行它。
于 2018-07-21T16:30:32.140 回答