1

在 CDH 5.13 中,我添加了 spark 2.4 包并在云管理器中创建了 spark 2 服务。但是当我运行 spark2-shell 时,它调用 spark 1.6

CDH版本:5.13

spark 2 csd : /usr/lib/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012
Conf : Java 1.8 (already present)

[cloudera@quickstart lib]$ spark2-shell 将默认日志级别设置为“WARN”。要调整日志记录级别,请使用 sc.setLogLevel(newLevel)。SLF4J:类路径包含多个 SLF4J 绑定。SLF4J:在 [jar:file:/usr/lib/zookeeper/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] 中找到绑定 SLF4J:在 [jar:file: 中找到绑定/usr/lib/flume-ng/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J:在 [jar:file:/usr/lib/parquet/lib 中找到绑定/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J:在 [jar:file:/usr/lib/avro/avro-tools-1.7.6-cdh5.13.0 中找到绑定.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J:见http://www.slf4j.org/codes.html#multiple_bindings解释一下。SLF4J:实际绑定类型为 [org.slf4j.impl.Log4jLoggerFactory] ​​欢迎来到


/ / _ _____/ / _\ / _ / _ `/ / ' / / / .__/_, / / / /_\ 1.6.0版/ /

使用 Scala 版本 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_202) 输入表达式以对其进行评估。键入 :help 以获取更多信息。Spark 上下文可用作 sc (master = local[*], app id = local-1565015557669)。SQL 上下文可用作 sqlContext。

我希望它会调用 spark 2.4 shell,但它调用 spark 1.6 shell。

4

0 回答 0