问题标签 [cloudera-manager]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
749 浏览

hadoop - 如何使用 Cloudera Manager 报告每个用户时间序列数据的 CPU 和内存使用情况

尝试使用 Cloudera Manager 获取有关 CPU 和内存使用情况的时间序列数据报告。我有兴趣获得如下报告:

日期/月份 | CPU 使用率 | 内存使用 | 用户

2014 年 12 月 | x1 分钟 | y1 GB | 用户1

2014 年 12 月 | x2 分钟 | y2 GB | 用户2

2014 年 11 月 | n1 分钟 | n2 GB | 用户2

...

这个想法是获取 Cloudera 集群上用户之间的计算使用分布,按周/月获取,并将其用作定价模型的组成部分。

我在 Cloudera 中找不到usertime-series attributes用于构建 tsquery:http ://www.cloudera.com/content/cloudera-content/cloudera-docs/CM4Ent/4.7.0/Cloudera-Manager-Diagnostics-Guide/cmdg_tsquery .html

是否可以在 Cloudera Manager 上获得此报告的 tsquery?

0 投票
1 回答
1189 浏览

cloudera - Cloudera 管理器未启动

我试图在重新启动机器后启动 cloudera 集群,但它没有启动服务器:

在 cloudera-scm-server 日志中出现以下错误:

我尝试将 db-data 文件夹的权限更改为 700 并且还按照此链接删除了 SCHEMA_VERSION 表, 但没有运气

编辑

在来自 /var/log/cloudera-scm-server/db.log 的数据库日志中,我收到以下致命错误:

0 投票
1 回答
168 浏览

amazon-ec2 - 在保存为 AMI 的 EC2 上重新启动 CDH5 集群

我使用 cloudera 管理器安装程序(cdh 5.3)安装了一个简单的 2 节点集群。一切似乎都很好。

然后我将每个节点保存为 AMI。

接下来,我再次启动每个映像的实例,确保 nic 与原始集群位于相同的(私有)子网中,使用相同的安全组。

节点可以相互 ping 通,但 Cloudera 管理器似乎无法再找到节点。(“没有收到心跳”)。

当尝试向集群添加新节点时,使用 IP 或 FQDN 它告诉我该节点已被管理。我似乎也无法从集群中删除/删除/...

我在这里遗漏了一些关键的东西吗?

0 投票
1 回答
713 浏览

email - 来自 Cloudera Manager 的电子邮件警报

我们需要建立一个流程,允许我们根据来自 Cloudera Manager 的 Hadoop 指标接收电子邮件警报。例如,某个特定服务出现故障,超过 10 个数据节点被列入黑名单等。在 CM 5.1 版中实现这一目标的最佳方法是什么?

0 投票
6 回答
121061 浏览

scala - Spark:如何从 spark shell 运行 spark 文件

我正在使用 CDH 5.2。我可以使用spark-shell来运行命令。

  1. 如何运行包含 spark 命令的文件(file.spark)。
  2. 有没有办法在没有 sbt 的情况下在 CDH 5.2 中运行/编译 scala 程序?
0 投票
0 回答
759 浏览

hbase - HBase 中的表命名空间管理器尚未准备好

我正在尝试在 Cloudera 集群上使用 HBase。HBase 已启动并正常运行,但是当我尝试进入 HBase shell 并创建一个新表时:

我收到以下错误:

Cloudera Manager 不会发出有关 HBase 集群运行状况的信号。无论如何,如果我在 Cloudera Manager 上检查 HBase 日志,我会发现很多错误,如下所示:

或者:

我的集群有什么问题?

0 投票
1 回答
341 浏览

linux - 为什么 Cloudera Manager 报告磁盘已满?

Cloudera Manager 报告我的 Hadoop 集群的某些节点上的磁盘已满,但是使用 手动检查可用空间时df -h,每个磁盘几乎都是半空的。

这是一个错误还是我需要发出一些其他命令来检查实际的可用空间?Cloudera Manager 在进行健康检查时使用什么命令?

0 投票
1 回答
1740 浏览

cloudera - 添加从属设备时出现 Cloudera 问题,cloudera-manager-agent 必须有 Version=5.3.0 和 Build=155,退出关闭日志文件描述符

在向 cloudera 提供的快速启动 VM 添加从属设备时,出现以下错误。它看起来像不兼容的内置错误,但我不确定。如果是这样,我该如何解决。任何建议将不胜感激。

0 投票
3 回答
5748 浏览

linux - Cloudera 安装在 CentOS 上检测不到 root 权限

我试图将新主机添加到 CentOS 的集群中。它在安装时失败并给出“安装失败。未能检测到 root 权限”状态。我知道 Cloudera 需要用户拥有无密码权限(“安装 Cloudera 软件包需要对您的主机进行 Root 访问。此安装程序将通过 SSH 连接到您的主机,并直接以 root 身份或使用无密码 sudo 的其他用户身份登录/pbrun 权限成为 root。”)。我怎样才能做到这一点?我试图编辑 /etc/sudoers 文件。编辑:在 sudoers 文件中,我添加了以下行:

cdh ALL=(ALL): ALL #cdh 是我的用户名

就在定义“root”权限的地方。

但安装时没有更多成功。在详细信息窗口中,它说:

任何形式的帮助将不胜感激。

0 投票
1 回答
1052 浏览

hadoop - 容器内存错误:Hadoop

有人可以告诉我我需要在 YARN 配置中更改什么。当我尝试执行 Hadoop 流式 MR 作业(python 脚本)时,我不断收到此错误。:Container is running beyond physical memory limits. Current usage: 3.0 GB of 3 GB physical memory used; 4.2 GB of 6.3 GB virtual memory used. Killing container.

请告诉这里有什么问题

我的配置: