1

我之前使用过 Windows 版本的 HDInsight，它有一个选项卡，您可以在其中为 Zeppelin 设置每个工作节点的内核数和内存。

我按照本教程让 Zeppelin 工作： https ://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-use-zeppelin-notebook/

HDInsight 的 Linux 版本使用 Ambari 来管理资源，但我似乎找不到更改 Zeppelin 设置的方法。

  • Zeppelin 不能作为左侧服务列表中的单独服务选择。当我在操作中选择“添加服务”时，似乎也无法添加它。

  • 我尝试使用覆盖在 Ambari 中编辑通用 spark 配置，然后将工作节点添加到我的新配置组中，并增加自定义 spark-defaults 中的内核和 RAM 数量。（然后单击保存并重新启动所有受影响的服务。）

  • 我尝试使用编辑火花设置

    vi /etc/spark/conf/spark-defaults.conf

在头节点上，但 Ambari 没有接收到。

对于每次大约需要 1000-1100 秒的查询，Zeppelin 中的性能似乎保持不变。

4

1 回答 1

0

Zeppelin 不是一项服务，因此它不应该出现在 Ambari 中。如果您致力于以这种方式管理它，您也许可以让它工作 https://github.com/tzolov/zeppelin-ambari-plugin

要通过 ssh 进行编辑，您需要编辑 zeppelin-env.sh 文件。首先给自己编辑权限。

sudo chmod u+w /usr/hdp/current/incubator-zeppelin/conf/zeppelin-env.sh

然后使用编辑 zeppelin 配置

vi /usr/hdp/current/incubator-zeppelin/conf/zeppelin-env.sh

在这里您可以配置 ZEPPELIN_JAVA_OPTS 变量，添加：

-Dspark.executor.memory=1024m -Dspark.executor.cores=16

说了这么多……你有什么理由不能只使用 Jupyter 笔记本来代替？

于 2016-01-20T22:58:51.133 回答