问题标签 [cloudera-manager]

我正在使用 Hadoop 的 cloudera 发行版，最近不得不更改集群中几个节点的 IP 地址。更改后，在其中一个节点（旧 IP：10.88.76.223，新 IP：10.88.69.31）上尝试启动数据节点服务时出现以下错误。

有没有人成功地更改了 hadoop 数据节点的 IP 地址并将其重新加入集群而不会丢失数据？

我们的 Cloudera Manager (4.7) 生产节点出现问题，因此我们在该节点上安装了新的操作系统。我们正在尝试从（嵌入式）postgresql 数据库的备份中恢复 Cloudera Manager。我们希望通过使用恢复的 DB，CM 可以使用现有配置管理现有集群。

我们正在做一些 POC，我们正在尝试将 cloudera 管理器移植到新服务器，步骤如下所述。（最终我们将在同一个节点上安装 CM）

1. 安装 cloudera-server-daemons cloudera-server
2. 安装 cloudera-server-db
3. sudo service cloudera-server-db start => 这将创建基本角色；重新生成密码等
4. 因此，从我们的 pg_dumpall foo.sql 中，我们删除了创建角色和密码以及数据库的初始语句。 pql -U cloudera-scm -h localhost -p 7432 -f foo.sql postgres.这成功完成了。
5. 在集群中的每个 on 节点上，将 /etc/cloudera-scm-agent/config.ini 更改为指向新节点
6. sudo 服务 cloudera-server 启动。=> 我们期待 CM 获取配置并加载。但是它需要我们安装程序页面
7. 安装免费版。要么搜索 ips，要么我们看到可用的主机。
8. 接下来，它会更新集群中每个节点上的 cdh 包，并要求我们安装服务。
9. 在此之后，过程有点不清楚。但是，我们确实设法将角色分配给适当的节点，例如。HDFS 使用相同的根目录，它没有被格式化，一切看起来都很好。但是，我们所有的配置都丢失了。这似乎表明 CM 没有读取恢复的数据库。

以上步骤似乎不是恢复cloudera manager状态的正确方法。本参考可能列出了一种无缝的方式来做到这一点。按照链接中提到的步骤，我们仍然无法让 CM 读取恢复的数据库。有人可以指出正确的步骤吗？任何帮助表示赞赏。

我已经构建了一个 parcel 和一个 csd，它们在部署到集群时可以正常工作。

但是，当我停止服务时，由启动脚本启动的子进程继续在后台运行。

我尝试了很多事情，但我又回到了更“残酷”的事情上。

碳酸软饮料提取物

脚本/rexster.sh 提取

但是该过程继续在后台运行：

我有一个 CDH 5.3 实例。我通过首先启动 hive-metastore 然后从命令行启动 hive-server 来启动 hive-server2。在此之后，我使用直线连接到我的 hive-server2，但显然它不能这样做。

另一个问题，我试图查看 hive-server2 是否正在侦听端口 10000。我做了“ sudo netstat -tulpn | grep :10000”但没有任何应用程序出现。我还在 hive-site.xml 中添加了以下属性，但无济于事。为什么它没有显示在 netstat 上？

直线上的连接命令：

当被要求输入用户名和密码时，我只需为各自的值输入测试“用户”和“密码”，然后它就会抛出错误。任何帮助将不胜感激

我正在尝试通过 cloudera manager api (cm_api) 自动化一些 Hadoop 集群部署工作。到目前为止，我能够将新主机添加到 cloudera 管理器，添加到集群并使用此https://github.com/cloudera/cm_api/tree/master/python/src/cm_api/endpoints对其应用模板

现在我正在寻找一种方法来更新 YARN 服务中每个实例的角色配置，例如（yarn.nodemanager.local-dirs、yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores），具体取决于多少每个实例获得的磁盘、CPU 和内存。

任何人都知道如何在 python 中使用 cm_api 来做到这一点？

谢谢

我正在尝试在 Google Compute Engine Ubuntu 12-04 实例中安装 Cloudera Manager。在安装步骤之前一切正常。

尝试检测 Cloudera Manager Server 时发生错误。主机名似乎有错误...报告错误是下一个：

截屏：

请有人帮我解决这个问题！我在研究它太久了，我觉得解决起来并不复杂..

提前谢谢了！

我在我的mac机器上创建了虚拟盒子，ubuntu 14.04LTS环境。在 ubuntu 的虚拟盒子中，我创建了三个 lxc 容器的集群。一个用于主节点，另外两个节点用于从节点。

在master上，我已经使用以下链接开始安装CDH5 http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

我还在 /etc/hosts 中进行了必要的更改，包括 FQDN 和主机名。还创建了名为“ubuntu”的无密码用户。

在设置 CDH5 时，在安装过程中，我经常在 datanodes 上遇到以下错误。最大锁定内存大小：dfs.datanode.max.locked.memory 922746880 字节大于数据节点的可用 RLIMIT_MEMLOCK ulimit 65536 字节。

我正在尝试使用 cm_api/get_yarn_applications 获取正在运行的 YARN 应用程序列表。我在 cm-api (9.0.0) & CM 5.3.2

我正在关注这个https://github.com/cloudera/cm_api/blob/master/python/src/cm_api/endpoints/services.py

lastHourDateTime = datetime.datetime.now() - datetime.timedelta(hours = 1)

nowDateTime = datetime.datetime.now()

yarn_applications = cm.get_service().get_yarn_applications(lastHourDateTime, nowDateTime)

但我得到以下异常

如何使用filter_str获取正在运行的纱线应用程序列表

我正在尝试使用 cm_api 9.0.0 从 Cloudera Manager 5.3.2 中删除主机

我试过了

但 remove_host() 出错

从集群中删除主机的正确顺序是什么，或者 cm_api 中是否有一个命令可以执行此操作？

谢谢

这是一个奇怪的问题，最近我们开始从运行 MRv1 的旧 CDH 4.2.1 集群迁移到运行 Mrv2(YARN) 的 CM5 托管 CDH 5.2.0 集群，并且遇到了一些相当不寻常的问题。该工作流处理大约 1.2TB 的数据，在 CDH 4.2.1 集群上，所触发的处理查询不使用减速器，每个单独的地图输出都存储为单个文件（大约需要 35 分钟）

在 CDH 5.2.0 集群上，工作流大部分时间都失败了（在正常花费时间的 3 倍以上之后），并且总是尝试将所有映射器的输出合并到一个文件中，我们认为这就是它所在的位置翻倒。

所有错误日志都指向 Shuffle 和 sort 阶段因堆空间不足错误而失败。

我们已经尝试使用这两个参数来指定没有减速器（mapred.reduce.tasks = 0 和 mapreduce.jobs.reduces = 0），但这没有任何效果。

这是一个 HiveQL 查询，使用 python 转换来处理数据字段，并且已经迁移了确切的代码、查询、表和工作流。

有没有其他人遇到过这个问题，或者有人可以解释一下吗？

谢谢，

安东尼