问题标签 [ambari]

正如我在这个标题中提到的，我可以跳过安装 hadoop 集群的步骤，因为该集群已经存在并且正在服务中？

我成功安装了 Ambari 服务器，但是当我尝试启动该服务器时，它说，

所以你能帮我解决这个问题吗？

谢谢你。

通过 Ambari 1.7 执行安装，希望了解有关 Zookeeper 安装的一些说明。该设置涉及 (3) Zookeeper 和 (3) Kafka 实例。Ambari UI 要求指定 Zookeeper 主机和 Zookeeper 客户端/从机。我应该选择所有三个 Zookeeper 节点作为主节点并在每个 Kafka 服务器上安装 Zookeeper 客户端吗？

Zookeeper 没有任何主节点，我对这个 Ambari 主/从术语有点困惑。

我使用 Ambari 成功构建了 HortonWorks HDP 2.2 的 5 节点集群。

但是我在已安装的服务列表中没有看到 Apache Spark。

我做了一些研究，发现 Ambari 没有安装某些组件，如色调等（Spark 不在该列表中，但我猜它没有安装）。

如何在我的 5 节点 HDP 2.2 上手动安装 Apache spark？

或者我应该删除我的集群并在不使用 Ambari 的情况下执行全新安装？

大家好，我在大表上运行 phoenix count 查询时收到以下错误消息。

请帮忙。

我正在尝试通过 Ambari 1.7 在 Centos 6.5 节点上安装 HDP 2.2。

我必须承认安装说明有点混乱，但我相信我已经完成了 Ambari 安装向导工作所需的所有步骤。Ambari 服务器设置很顺利，我为 Ambari 创建了一个 MySQL 数据库并运行了创建模式的创建 SQL 脚本等。

现在，当我尝试通过向导注册主机时，我得到一个异常，说我的主机在数据库中不存在。嗯，这是真的，我的主机表是空的。我的最终问题是如何通过此错误并继续安装。但我相信它可能就像需要运行一些插入到 ambari db hosts 表中的脚本一样简单。有谁知道该表何时被写入？

我已经使用完全限定的主机名和安装指南中提到的各种其他配置更改更新了我的主机文件。

我对所有这些东西完全陌生，并试图创建一个单节点 PoC - 任何帮助将不胜感激。

这是日志条目：

17:31:35,174 INFO [Thread-21] JobStoreTX:861 - 将 0 个触发器从“获取”/“阻塞”状态释放。17:31:35,184 INFO [Thread-21] JobStoreTX:871 - 恢复上次关闭时正在进行的 0 个作业。17:31:35,184 信息 [Thread-21] JobStoreTX:884 - 恢复完成。17:31:35,185 INFO [Thread-21] JobStoreTX:891 - 删除了 0 个“完成”触发器。17:31:35,185 信息 [Thread-21] JobStoreTX:896 - 删除了 0 个过时的已触发作业条目。17:31:35,187 信息 [Thread-21] QuartzScheduler:575 - 调度程序 ExecutionScheduler_$_NON_CLUSTERED 已启动。 17:32:08,520 错误 [qtp864571289-20] ActionDBAccessorImpl:241 - 数据库中不存在主机 17:32:08,588 错误 [qtp864571289-20] AbstractResourceProvider:280 - 创建资源 org.apache.ambari.server 时捕获 AmbariException .AmbariException：org.apache.ambari.server.actionmanager.ActionDBAccessorImpl.persistActions（ActionDBAccessorImpl.java:242）的数据库中不存在主机 在 org.apache.ambari.server.orm.AmbariJpaLocalTxnInterceptor.invoke(AmbariJpaLocalTxnInterceptor.java:68) 在 org.apache.ambari.server.actionmanager.ActionManager.sendActions(ActionManager.java:96) 在 org.apache.ambari.server .actionmanager.ActionManager.sendActions(ActionManager.java:85) 在 org.apache.ambari.server.controller.AmbariManagementControllerImpl.createAction(AmbariManagementControllerImpl.java:3071) 在 org.apache.ambari.server.controller.internal.RequestResourceProvider$1。在 org.apache.ambari.server.controller.internal.AbstractResourceProvider.createResources(AbstractResourceProvider) 在 org.apache.ambari.server.controller.internal.RequestResourceProvider$1.invoke(RequestResourceProvider.java:118) 调用(RequestResourceProvider.java:121) .java:273) 在 org.apache.ambari.server.controller.internal.RequestResourceProvider.createResources(RequestResourceProvider.java:118) 在 org.apache.ambari.server.controller.internal.ClusterControllerImpl.createResources(ClusterControllerImpl.java:274) 在 org.apache.ambari。 server.api.services.persistence.PersistenceManagerImpl.create(PersistenceManagerImpl.java:75) 在 org.apache.ambari.server.api.handlers.CreateHandler.persist(CreateHandler.java:36) 在 org.apache.ambari.server。 org.apache.ambari.server.api.services.BaseRequest.process(BaseRequest.java:135) 上 org.apache.ambari.server.api.services 上的 api.handlers.BaseManagementHandler.handleRequest(BaseManagementHandler.java:72)。 BaseService.handleRequest(BaseService.java:103) 在 org.apache.ambari.server.api.services.BaseService。org.apache.ambari.server.api.services.RequestService.createRequests(RequestService.java:137) 的 handleRequest(BaseService.java:72)

ambari 1.7我已经使用我面临一个奇怪的问题设置了 hadoop 集群。数据节点第一次启动但在几分之一秒内自动死亡。当我尝试重新启动 datanode 它没有启动。请帮我解决这个问题。
重启datanode的日志如下

重启我的hadoop集群后我有一个类似的问题。这是我来自 /var/log/hadoop/hdfs/hadoop-hdfs-datanode-master.hadoopcluster.out 的日志文件

我的 Ambari 服务器有问题，它无法启动 Namenode。我正在使用 HDP 2.0.6、Ambari 1.4.1。值得一提的是，一旦我启用了 Kerberos 安全性，就会发生这种情况，我的意思是，当它被禁用时，没有错误。

错误是：

2015-02-04 16:01:48,680 ERROR namenode.EditLogInputStream (EditLogFileInputStream.java:nextOpImpl(173)) - caught exception initializing http://int-iot-hadoop-fe-02.novalocal:8480/getJournal?jid=integration&segmentTxId=1&storageInfo=-47%3A1493795199%3A0%3ACID-a5152e6c-64ab-4978-9f1c-e4613a09454d org.apache.hadoop.hdfs.server.namenode.TransferFsImage$HttpGetFailedException: Fetch of http://int-iot-hadoop-fe-02.novalocal:8480/getJournal?jid=integration&segmentTxId=1&storageInfo=-47%3A1493795199%3A0%3ACID-a5152e6c-64ab-4978-9f1c-e4613a09454d failed with status code 500 Response message: getedit failed. java.lang.IllegalArgumentException: Does not contain a valid host:port authority: null at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:211) at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:163) at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:152) at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.getHttpAddress(SecondaryNameNode.java:210) at org.apache.hadoop.hdfs.qjournal.server.GetJournalEditServlet.isValidRequestor(GetJournalEditServlet.java:93) at org.apache.hadoop.hdfs.qjournal.server.GetJournalEditServlet.checkRequestorOrSendError(GetJournalEditServlet.java:128) at org.apache.hadoop.hdfs.qjournal.server.GetJournalEditServlet.doGet(GetJournalEditServlet.java:174) at ...

似乎问题在于检索辅助 Namenode http 地址，实际上该地址设置为 null hdfs-site-xml（我不知道为什么）：

我试图将该参数的值设置为适当的值，但没有任何效果：

• 通过手动编辑hdfs-site.xml文件并运行hdfs namenode，但没有任何反应。
• 通过手动编辑hdfs-site.xml文件并从 Ambari 启动整个 HDFS，但没有任何反应。甚至，dfs.namenode.secondary.http-address参数再次设置为null！
• 通过 Ambari UI > HDFS 服务 > 配置选项卡 >hdfs-site.xml列表 > 添加新属性...问题是dfs.namenode.secondary.http-addressUI 未列出不允许我添加它，因为它说...它已经存在！:)
• 我试图在 /usr/lib/ambari-server/web/data/configuration/hdfs-site.json 中添加值，认为这可能是 Ambari 存储在 UI 中显示的值的地方，但没有成功。

我还注意到每次从 Amabri UI 重新启动 HDFS 服务时site-XXXX.pp都会创建一个文件/var/lib/ambari-agent/data/，我发现这些文件中的每一个都有：

我认为配置此属性的其他候选文件可能是/var/lib/ambari-agent/puppet/modules/hdp-hadoop/manifests/params.pp. 有一个### hdfs-site部分，但我不知道哪个是与dfs.namenode.secondary.http-address属性关联的 puppet 变量的名称。

有任何想法吗？谢谢！

我按照这个教程http://hortonworks.com/hadoop-tutorial/using-apache-spark-hdp/在 HDP 2.2 上安装 Spark。

但它告诉我 dfs 拒绝了我的联系！我的命令：

这是日志：

有人这么说（http://tiku.io/questions/4795653/unable-to-run-spark-1-0-sparkpi-on-hdp-2-0），但我不明白。

我的环境是

我正在尝试使用 Ambari 1.7.0 设置一个 6 节点 HDP 2.2 集群。在 hack 之后（通过将 'export PYTHON=/usr/bin/python2.6' 添加到 ambari-agent/ambari-enh）让 ambari-agent 守护程序在代理节点上运行，我能够注册目标主机。

但是，我在“部署”步骤中遇到了一个可怕的问题。似乎虽然我选择了 HDP 2.2 堆栈，但仍然选择了 HDP 2.0.6。

ambari-agent.log 包含以下内容：

问：为什么我选择了 HDP 2.2 还是安装了 HDP 2.0.6？

我的环境信息：CentOS 6.6、HortonWorks Ambari 1.7.0、HDP-2.2、HDP-UTILS-1.1

回购：HDP-2.2 HDP-UTILS-1.1.0.20 更新-ambari-1.7.0 ambari-1.x