0

我正在使用带有 Ambari 2.1.0 和 Hue 3.8.1、Ubuntu 12.04 的 Hadoop 2.2.6 迷你集群（1 个主集群和 3 个从属）。Spark 1.2.1（使用 Scala 2.10.3）作为 Ambari 设置的一部分安装。我已经安装了 Livy-Server 以便能够在 Hue 中使用 Spark Notebook。hue.ini 文件中的配置如下：

[spark]

# Host address of the Livy Server.

livy_server_host=host1.com

# Port of the Livy Server.

livy_server_port=8998

# Configure livy to start with 'process', 'thread', or 'yarn' workers.

livy_server_session_kind=process

# List of available types of snippets

languages='[{"name": "Scala Shell", "type": "spark"},{"name": "PySpark Shell", "type": "pyspark"},{"name": "R Shell", "type": "r"},{"name": "Jar", "type": "Jar"},{"name": "Python", "type": "py"},{"name": "Impala SQL", "type": "impala"},{"name": "Hive SQL", "type": "hive"},{"name": "Text", "type": "text"}]'

但是当我尝试在笔记本中输入简单的命令时，每次我都会遇到同样的错误：Gateway timeout Error 504. 当我使用以下命令从 shell 手动启动 Livy-Server 时：

./build/env/bin/hue livy_server

我有其他文章中询问的结果，但没有解决方案：http: //gethue.com/new-notebook-application-for-spark-sql/#comment-56901 任何想法如何解决这个问题，甚至在哪里看？！除了 Spark Notebook 之外，其他应用程序都可以正常工作。我是大数据和 hadoop 的新手，正在阅读论坛寻找可能的解决方案，但没有找到与此问题相关的任何内容，是配置错误还是我在安装过程中遗漏了什么？任何帮助高度赞赏。谢谢

4

1 回答 1

1

Livy 从未使用 Spark 1.2 进行过测试。它最初是为 1.3 创建的，目前正在使用 1.4，而 1.5 几乎都在那里：https ://github.com/cloudera/hue/tree/master/apps/spark/java#prerequisites

于 2015-09-21T18:44:58.223 回答