问题标签 [cloudera]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
7 回答
7887 浏览

database - HBase 错误 - 分配 -ROOT- 失败

我刚刚从 cloudera (3) 安装了 hadoop 和 hbase,但是当我尝试访问http://localhost:60010时,它只是坐在那里不断加载。

我可以很好地访问 regionserver - http://localhost:60030 ...查看主 hbase 服务器日志,我可以看到以下内容。

看起来是根区域的问题。

所有这些都安装在运行 Ubuntu (Natty) 11 的 ext4 1TB 分区上。没有集群/其他盒子)。

任何帮助都会很棒!

0 投票
1 回答
439 浏览

windows - 在 Windows 上运行 Flume master

我可以在 Windows 上运行 Cloudera Flume 节点,但无法运行 Flume 主节点。这是可能的,你怎么能做到?

0 投票
1 回答
424 浏览

hadoop - Cloudera Mountable HDFS 是否提供去重

查看运行基于 HDFS 的存储集群,并查看通过 Cloudera 版本使用 Mountable HDFS 系统的简单方法。

我要问的第一个问题是这会提供自动重复数据删除吗?

我问的第二个问题是否会执行重复数据删除,当所有用户删除包含某个重复数据删除块的文件时,它实际上是从存储中删除该块还是仅删除该用户的索引/引用?

最后,这种方法是否包括 Rainstor 压缩方法?

感谢您的输入

0 投票
1 回答
497 浏览

amazon-ec2 - 如何使用 Apache Whirr 在 AWS 上建立单节点 Hadoop 实例?

我正在尝试使用 Apache Whirr 在 Amazon Web Services 上运行 Hadoop 的单节点实例。我设置whirr.instance-templates1 jt+nn+dn+tt。实例启动良好。我能够创建目录,但是当我尝试创建put文件时,我得到一个File could only be replicated to 0 nodes, instead of 1 error. 当我这样做时,hadoop fsck /我得到一个Exception in thread "main" java.net.ConnectException: Connection refused错误。有谁知道我的配置有什么问题?

0 投票
1 回答
293 浏览

ubuntu - 控制flume自身生成的日志文件的大小

Flume 在 /var/log/flume 文件夹中生成日志。那里的文件以 GB 为单位增长。如何限制这些日志的文件大小?

0 投票
1 回答
1101 浏览

hadoop - 在多节点 Hadoop 集群上执行流作业时出现“子错误”(cloudera 发行版 CDH3u0 Hadoop 0.20.2)

我正在研究 8 节点 Hadoop 集群,我正在尝试使用指定的配置执行一个简单的流式作业。

我正在使用 cloudera 的 hadoop CDH3u0 发行版和 hadoop 0.20.2。执行此作业的问题是该作业每次都失败。这项工作给出了错误:

对于错误的原因,我检查了以下内容,但它仍然崩溃,我无法理解原因。

最奇怪的是,作业有时会成功运行,但大部分时间都会失败。关于这些问题的任何指导/帮助都会非常有帮助。我从过去 4 天开始处理这个错误,但我无法弄清楚任何事情。请帮忙!!!

谢谢和问候, 阿图尔

0 投票
2 回答
5049 浏览

java - 从我的桌面连接到 Cloudera VM

我在我的 Windows 7 笔记本电脑上下载了 Cloudera VM 来玩。我正在尝试从 Windows 连接到在 VM 中运行的 Hadoop 实例。我做了一个 ifconfig 并获得了 VM 的 IP 地址。我可以从我的 Windows 机器上运行的 Firefox 连接到 VM 中运行的 Web 界面,所以我知道我至少可以连接到那个。

所以接下来,我尝试从 Java 连接到 Hadoop。

但我得到错误。

uri:hdfs://192.168.171.128/user

谁能帮我吗?

0 投票
3 回答
8529 浏览

hadoop - 使用主机系统上的客户端访问在 VM 中运行的 HBase

我尝试使用客户端程序将一些数据写入 hbase

HBase @ Hadoop 在来自 Cloudera @ ubuntu 的预配置 VM 中运行。

客户端在托管 VM 的系统上运行,并直接在 VM 中运行客户端。

所以现在我想用vm外的客户端来访问vm上的服务器

我正在使用 NAT。为了能够访问在虚拟机上运行的 HBase Master、HUE 等服务器,我在虚拟框中配置了端口转发:在此处输入图像描述

因此,我可以访问 HBase Master 的概述站点,HUE..

为了在 vm 上的服务器上运行客户端,我创建了 hbase-site.xml 的内容:

所以我希望转发有效:

运行客户端时日志中的错误消息如下所示:

正确的连接日志(直接在 vm 上运行客户端时)如下所示:

所以我现在只在第一个问题之前的日志行中看到连接 url 不正确,因为端口被正确转发,但 IP 仍然是 localhost 而不是端口转发设置中配置的 10.0.2.15:

我发现的唯一提示是禁用 IPV6 -> 在主机(win7)和 vm(Ubuntu)中禁用并检查端口 -> 它们被正确转发

有人有想法吗?

0 投票
1 回答
5887 浏览

java - 连接并持久化到 HBase

我只是尝试使用 java 客户端连接到作为 cloudera-vm 一部分的 hbase。

(192.168.56.102是vm的inet ip)

我使用具有仅主机网络设置的虚拟机。

这样我就可以访问hbase master的webUI了@http: //192.168.56.102 :60010/master.jsp

我的 java 客户端(在 vm 本身上运行良好)也建立了与 192.168.56.102:2181 的连接

但是当它调用getMaster我得到连接被拒绝查看日志:

hbase-site.xml:

持久性.xml:

测试DAO.java:

只是添加了在 VM 上运行的网络服务(netstat -ntpl):

0 投票
3 回答
8398 浏览

java - 在本地/远程集群上运行 java hadoop 作业

我正在尝试在本地/远程集群上运行 hadoop 作业。未来的这项工作将在 Web 应用程序中执行。我正在尝试从 eclipse 执行这段代码:

但是我收到以下错误:

我正在使用带有 Hue 的 CDH3。作业出现在作业列表中,并出现上述运行子错误。