问题标签 [cloudera-manager]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
893 浏览

hadoop - 在 ubuntu 12.04 LTS 中使用 cloudera manager 安装 Cloudera CDH5

我正在尝试在 Ubuntu 12.04 LTS(64 位)中使用 Cloudera Manager 安装 CDH5。我按照Cloudera 链接中提到的步骤进行操作。我无法为安装 CDH5 指定正确的主机名。我在 /etc/hosts 文件中除了 127.0.0.1 和 127.0.1.1 之外没有任何其他条目。

我正在使用 USB 加密狗访问互联网,但我现在没有任何以太网连接。请让我知道是否需要以太网连接才能在我的 PC 中安装 CDH5。

PS 我目前是一名大型机开发人员,没有任何 linux 或开源背景。我花了将近 40 个小时尝试在我的机器上安装 CDH5,以便我可以在Udacity 的 Hadoop 入门课程中进行练习。我的PC 运行在英特尔双核处理器上,它不支持使用 VMWARE 的虚拟化. 因此我别无选择,只能将 CDH5 安装在 ubuntu 的双引导分区中。请指导我进一步进行。

0 投票
4 回答
14225 浏览

linux - Cloudera Manager 无法进行身份验证:已用尽可用的身份验证方法

我目前正在尝试了解如何在使用 Cloudera 之前安装和配置它。

所以我安装在 VirtualBox、Ubuntu 14.04、Cloudera Manager 中。我想在一个伪单节点上试一试(只有我的电脑:没有集群)。

我设法完成了安装。然后为您的 CDH 集群安装指定主机;本地主机 127.0.0.1

我的问题在于“提供 SSH 登录凭据”。步

安装 Cloudera 软件包需要对您的主机进行 root 访问。此安装程序将通过 SSH 连接到您的主机,并直接以 root 身份或以另一个具有无密码 sudo/pbrun 权限的用户身份登录以成为 root。登录到所有主机为:根

您可以通过密码或公钥认证为上面选择的用户连接。认证方式:所有主机都接受相同的密码
输入密码:*********
SSH 端口:22

然后继续按钮导致这个

在所有主机上安装失败。安装失败。认证失败。

“用尽了可用的身份验证方法”

我尝试重置root密码,没有更改..我尝试使用其他具有无密码权限的用户(不确定我做得对..但没有用)我尝试使用公钥ssh跟随教程这个

但我无法浏览 id_rsa.pub 的路径...因为 Cloudera Manager 没有访问 /.ssh/ 的权限 :(

我假设我没有完全理解这一步背后的内容,但没有教程可以通过它。任何解决方案来配置这个?

感谢您的任何建议。

0 投票
1 回答
662 浏览

hadoop - 将 Hadoop 从版本 CDH4 升级到 CDH5

我需要将 Hadoop 从 CDH4 升级到 CDH5。我有 5 个节点。

我可以通过包裹使用 Cloudera Manager 进行升级吗?

升级 Hadoop 最简单的方法是什么?有人可以提供我的步骤吗?

谢谢,

拉吉巴巴

0 投票
1 回答
3799 浏览

hadoop - nameservice1 和 nameservice2 之间的 distcp

我们有 CDH 5.2 和 Cloudera Manager 5。

我们要将数据从 nameservice2 复制到 nameservice1

两个集群都在同一个 CDH 版本上

当我尝试hadoop distcp hdfs://nameservice2/foo/bar hdfs://nameservice1/bar/foo

我有错误

java.lang.IllegalArgumentException: java.net.UnknownHostException: nameservice2

所以我将以下配置从 Nameservice2 添加到 Nameservice1

Cloudera 管理器(网关默认组)中 hdfs-site.xml 的 HDFS 客户端高级配置片段(安全阀)

但我仍然遇到同样的错误。

有什么解决方法吗?

谢谢

0 投票
1 回答
282 浏览

hadoop - 纺锤是指什么?

我正在为正在部署的 hadoop 集群进行非常基本的级别设置。我一般不熟悉 Hadoop 或其概念。查看部署清单,我看到很多关于主轴数量和主轴安装点的讨论。当有人提到主轴时,他们是在谈论服务器中物理硬盘驱动器的数量吗?

0 投票
1 回答
244 浏览

hadoop - Solr - 发布数据时出现 IO 异常:java.net.ConnectionException

我正在尝试使用 apache solr 使用 cloudera 的 CDH 4.7 在 Hadoop 中对 clouera 上的数据进行索引

我确保所有其他设置都已正确执行。我浏览了为此发布的博客,但仍然无法弄清楚连接被拒绝的原因。cloudera manager 中的 solr 服务在 8983 端口上运行。

请帮忙。提前致谢

0 投票
1 回答
10822 浏览

apache-spark - Spark 执行器登录 YARN

我正在 Cloudera 集群上以 YARN 客户端模式启动分布式 Spark 应用程序。一段时间后,我在 Cloudera Manager 上看到了一些错误。一些执行者断开连接,这会系统地发生。我想调试这个问题,但 YARN 没有报告内部异常。

如何查看异常的堆栈跟踪?似乎 YARN 只报告应用程序异常退出。有没有办法在 YARN 配置中查看 spark executor 日志?

0 投票
1 回答
639 浏览

active-directory - Cloudera Manager - Kerberos Active Directory 设置 ldapsearch AD_SERVER 未填充

我正在尝试在我的集群上使用 Cloudera Manager 设置带有 AD 的 Kerberos。在我们指定用户名和密码之后的步骤中,它给出了 ldap_sasl_bind (-1) 错误。我试图环顾四周,并在所有节点中完成了 AD 的设置。它仍然无法正常工作。

比我从 SSH 尝试的 ldapsearch 命令令人惊讶的是它工作正常。所以节点设置是正确的,不需要任何东西。我认为。

我进一步调试它,使用 Cloudera Manager 日志并发现 ldapsearch 命令具有“ldap://:636”。我在 /usr/share/cmf/bin/import_credentials.sh 中使用的 AD_SERVER 参数中一无所获。

  1. 我的证书正确导入。
  2. 我的证书有有效的主题行。
  3. 我有具有管理权限的有效用户。

我错过了什么?

谢谢,BS

0 投票
1 回答
483 浏览

cloudera-cdh - HDFS 联合:使用同一节点作为活动节点和备用节点配置 HA

我正在尝试使用 Cloudera 管理器在 HDFS 联合中配置 HA(http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-1-x/CDH5-High-Availability-Guide/cdh5hag_hdfs_ha_software_config。 html )

因为我有一个联合的 HDFS 配置,所以我有多个名称节点来满足不同的命名空间。这些名称节点托管在集群中的不同物理节点上。为了配置 HA,我尝试为这些不同的名称节点中的每一个设置一个相应的备用名称节点。

假设我有如下配置(NN = NameNode,SNN = StandbyNameNode):

活动名称节点:NN1、NN2、NN3 备用名称节点:SNN1、SNN2、SNN3

假设我在集群中有 3 个物理节点。Cloudera Manager 是否允许我在同一物理主机上托管活动名称节点和备用名称节点(用于不同的活动名称节点)?

是否支持以下配置?节点 1:NN1 和 SNN3 节点 2:NN2 和 SNN1 节点 3:NN3 和 SNN2

提前感谢您的回复!

0 投票
1 回答
140 浏览

hadoop - Cloudera Manager 在哪里存储其配置?

我正在尝试追查从 Cloudera Manager 向不正确的电子邮件地址发送电子邮件警报的问题。我们已更正 Cloudera UI 中“警报:邮件消息收件人”下的电子邮件地址,并重新启动了整个集群几次,但消息仍被发送到旧的错误地址。有人可以详细说明这些警报通过的链条吗?