问题标签 [cloudera-manager]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
984 浏览

hadoop - 无法从主机 'namenode.tarun.com 连接到主机 'http://namenode.tarun.com:7432' 上的数据库

我在配置嵌入式数据库的数据库设置时安装了 cloudera manager 服务器。错误如下:

无法使用提供的凭据从主机“namenode.tarun.com”连接到主机“ http://namenode.tarun.com:7432 ”上的数据库

这是我的 db.mgmt.properties 我已更改它,因为它之前没有识别主机名。

登录为:root root@10.182.1.114 的密码:上次登录:Mon Apr 28 14:29:55 2014 from n1.tarun.com [root@namenode ~]# vi /etc/cloudera-scm-server/db.管理属性

20140424-144947
这些是“cloudera-scm-server-db”为 Cloudera Manager Management Services 创建的数据库的数据库凭据,如果采用嵌入式数据库路由,将在安装向导期间使用。

这些设置的真实来源是 Cloudera Manager 数据库,此处所做的更改不会自动反映在那里。

com.cloudera.cmf.ACTIVITYMONITOR.db.type=postgresql com.cloudera.cmf.ACTIVITYMONITOR.db.host=http://namenode.tarun.com:7432 com.cloudera.cmf.ACTIVITYMONITOR.db.name=amon com.cloudera.cmf.ACTIVITYMONITOR.db.user=amon com.cloudera.cmf.ACTIVITYMONITOR.db.password=TDBw6Cjo7y com.cloudera.cmf.REPORTSMANAGER.db.type=postgresql com.cloudera.cmf.REPORTSMANAGER.db.host=http://namenode.tarun.com com.cloudera.cmf.REPORTSMANAGER.db.name=rman com.cloudera.cmf.REPORTSMANAGER.db.user=rman
com.cloudera.cmf.REPORTSMANAGER.db.password=computer1 com.cloudera.cmf.NAVIGATOR.db.type=postgresql com.cloudera.cmf.NAVIGATOR.db.host=7432 com.cloudera.cmf.NAVIGATOR.db.name=nav com.cloudera.cmf.NAVIGATOR.db.user=nav com.cloudera.cmf.NAVIGATOR.db.password=MNWOjKZdVD com.cloudera.cmf.ACTIVITYMONITOR.db.type=postgresql com.cloudera.cmf.ACTIVITYMONITOR.db.host=http://namenode.tarun.com:7432 com.cloudera.cmf.ACTIVITYMONITOR.db.name=amon com.cloudera.cmf.ACTIVITYMONITOR.db.user=amon com.cloudera.cmf.ACTIVITYMONITOR.db.password=DBG22fU5Jr com.cloudera.cmf.REPORTSMANAGER.db.type=postgresql com.cloudera.cmf.REPORTSMANAGER.db.host=http://namenode.tarun.com com.cloudera.cmf.REPORTSMANAGER.db.name=rman com.cloudera.cmf.REPORTSMANAGER.db.user=rman com.cloudera.cmf.REPORTSMANAGER.db.password=computer1 com.cloudera.cmf.NAVIGATOR.db.type=postgresql com.cloudera.cmf.NAVIGATOR.db.host=:7432 com.cloudera.cmf.NAVIGATOR.db.name=nav com.cloudera.cmf.NAVIGATOR.db.user=nav com.cloudera.cmf.NAVIGATOR.db.password=a5gJFtI758

0 投票
1 回答
1483 浏览

hadoop - 使用 cloudera manager 部署 hdfs core-site.xml

我正在尝试使用 cloudera 管理器 (CDH5b2) 将 lzo 支持添加到我的配置文件中。

如果我添加io.compression.codecs到服务范围的 hdfs 配置,并部署配置文件,/etc/hadoop/conf.cloudera.hdfs/core-site.xml现在包含新值。

但是,/etc/hadoop/conf.cloudera.yarn/core-site.xml具有更高的优先级 ( update-alternatives --display hadoop-conf),当我开始 MR 作业时不使用 hdfs core-site.xml 值。

显然,我可以简单地core-site.xml手动修改 yarn 文件,但我不明白如何core-site.xml使用 cloudera manager 正确部署 hdfs 文件。

0 投票
1 回答
1007 浏览

ldap - 外部身份验证 - Cloudera Manager 5 和 OpenLDAP

我无法使用来自 LDAP 的用户连接到 Cloudera Manager。

我在本地机器上配置了一个ldap服务器,所以cloudera Manager中的URI是ldap://localhost/dc=example,dc=com

我的 ACL 应该允许匿名身份验证:

当我手动进行搜索时,我可以找到用户:

我在设置中使用这种模式:

uid={0},ou=people,dc=example,dc=com

我也尝试了使用和不使用 LDAP 绑定用户可分辨名称和 LDAP 绑定密码。

当我尝试连接时,它说(从法语翻译)“用户名或密码无效”

我正在尝试与该用户联系以进行测试:

我使用“toto1”作为用户名,使用“password”作为密码。({SSHA}OLJhSbhoq9IILV5aOoCBseZw09Ti0uFh = 密码)

我真的不明白问题出在哪里。

编辑:我在 openldap 服务器上激活了日志并得到了这个:

你能帮助我吗 ?谢谢。

问候,K。

0 投票
1 回答
130 浏览

ubuntu - 我应该把 Cloudera Manager Server 放在哪里

我有一个由 4 个 ubuntu 12.04 LTS 组成的集群,准备通过利用 Cloudera Manager(使用 CDH5)安装 Hadoop。

但我对将 Cloudera Manager Server 放在哪里感到困惑。

我应该添加一个新的 ubuntu 机器来托管 Cloudera Manager Server,然后让它管理由 1 个主设备和 3 个从设备组成的 Hadoop 集群吗?

或者我应该把 Cloudera Manager Server 和 Hadoop master 放在一起?因此 Hadoop 主服务器和 Cloudera Manager Server 位于一台(虚拟)机器上。

这个问题可能在这里重复。但是看到之后,我还是一头雾水。

期待任何专业知识。

0 投票
0 回答
106 浏览

hadoop - cdh4 hadoop 的 Log4j 问题

我有一个使用 cloudera manager 管理的 hadoop cdh4.5 集群。我有一个具有特定配置的自定义 log4j.properties 文件。我已通过 cloudera 管理器将此 log4j.properties 添加到集群中(对于每个进程,也就是 namenode、datanode、jobtracker、tasktracker)。但它没有被hadoop占用。有没有人之前遇到过这个问题?

在使用 cdh4 之前,我使用了 hadoop-0.20.2,并且只需在 hadoop 配置中拥有这个 log4j.properties 就足以选择它。那么这个问题是否与cloudera manager有关?

0 投票
1 回答
1705 浏览

hadoop - CDH5 上的启动/停止 hadoop hdfs/mapred 脚本在哪里

CDH4 的文档引用了/etc/init.d/hadoop-*脚本,但这些在 CDH5 中不再存在。

我已经涉足文档,但未能成功找到/理解 CDH5 等价物。我能找到的最接近的是 SCM 经理:

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Administration-Guide/cm5ag_agents.html

新进程的指针和解释将不胜感激。

0 投票
1 回答
1864 浏览

java - Namenode抛出EPERM:启动时不允许操作

yarn.nodemanager.local-dirs 文件夹的文件权限应该是什么?我弄乱了这些文件的权限,无法解决。目前我已将文件夹权限设置为 755 yarn:hadoop。每当我尝试运行节点管理器时,都会遇到 EPERM: Operation not allowed 错误。细节 -

尝试启动失败后,local-dirs 文件夹包含以下文件夹 - filecache、nmPrivate、3 usercache_DEL_timestamp。根据错误的位置(ResourceLocalizationService.java,第 233 行),三个可能的操作可能会引发此错误 -
a) 清理旧文件 - 这有效,如日志输出所示
b) 创建新文件 - 启动尝试失败后,我在local-dirs中看到了三种文件——三个usercache_DEL_*、filecache、nmPrivate文件。
c) 制作日志路径 - 我检查了日志文件夹以获得 yarn:hadoop 的 775 权限。

可能出了什么问题?我正在使用 Cloudera 来管理我的集群。

0 投票
1 回答
190 浏览

hadoop - 在cloudera中运行hadoop wordcount proram时isuue创建java类

**hii 我正在按照本教程运行 wordcount

无论我做什么,我都会收到此错误 javac: directory not found: WordCount_Classes/WordCount.java 用法:javac 使用 -help 获取可能选项的列表

我确实通过键入 mkdir WordCount_classes 创建了一个目录

我试图检查它返回空白的类路径

所以我用这个命令设置它

导出 CLASSPATH=/usr/lib/hadoop/client-0.20/*:/usr/lib/hadoop/*

即使键入 echo

用 cloudera、clouderauser、home 替换“usr”,但没有一个起作用。

请帮助谢谢对不起,如果我不清楚,我已经尽力了,我对编程世界很陌生,谢谢。**

0 投票
1 回答
284 浏览

twitter - Data in Hbase are not structured as it should be - Twitter Flume

Users, greetings !

I have installed a flume on my cloudera 4.6, and I am trying to get tweets from twitter.

So I created a HDFS sink and a HBase sink, and they are gathering tweets... But data in HBase is not well structured.

As the data is not structured, I can't make queries on it with impala.

I created a table tweets {NAME => 'tweet'}, {NAME => 'retweet'}, {NAME => 'entities'}, {NAME => 'user'}

and my flume configuration is : http://pastebin.com/4b5d3R8Q

I am following this tutorial, but I don't know what to do with his serializer.

https://github.com/AronMacDonald/Twitter_Hbase_Impala I have to make it into a jar ?

I have currently this in Hbase: http://pastebin.com/aNGBsvB7 Everything is in the column tweets...

0 投票
1 回答
100 浏览

hadoop - 如何在不安装 cdh 的情况下安装 cloudera manager?

我有一个带有 tarball 的 hadoop 环境,我在http://hadoop.apache.org/releases.html#Download下载了它。

然后,我必须使用 cloudera manager 来监控我的 mapreduce 应用程序。

可以在没有安装 cdh 的情况下使用 cloudera manager 吗?