1

我已经成功地用 Spark 配置了 Zeppelin。但是，我想使用多租户，为此我想使用 Livy 和 Spark 配置 Zeppelin。

对于 Livy，我提供了以下两条路径

export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf

我可以在 Zeppelin 中成功运行以下命令：

%livy.spark
sc.version

但是，以下命令失败：

%livy.sql
select * from myDB.table1

我看到以下错误：

<console>:14: error: not found: value sqlContext
              sqlContext.sql("select * from datalake.combination2").show(1000)

我还没有为 Zeppelin 启用 Shiro 身份验证。我的假设是，当我提供 Spark 主目录时，Livy 将使用默认用户登录 Spark。谁能指出我该如何解决上述问题？而且，我需要做哪些配置来启用模拟？

4

1 回答 1

0

当我的集群没有足够的资源来启动一个活跃的会话时，我就会发生这种情况。您是否在 zeppelin 中配置了 livy 会话？
解释器 -> livy2 -> 基本 spark 配置： 

      - livy.spark.driver.cores  
      - livy.spark.driver.memory  
      - livy.spark.executor.cores   
      - livy.spark.executor.instances   
      - livy.spark.executor.memory  
      - livy.spark.master  
      - livy.spark.submit.deployMode

还配置解释器实例化：全局 | 用户 | 笔记

于 2019-09-05T10:18:57.320 回答