问题标签 [hadoop2]

我最近安装了 hadoop-2.4.0 和 hbase-0.95.18 编译

使用以下 pom.xml 选项。

和

这是我的 hbase-site.xml 信息。

HMaster & Zookeepers 已成功启动，但 regionservers 未启动。我在主日志中收到以下错误。

有人可以帮我解决这个问题吗？

I have a file which is of 128 MB so it is splitted into 2 blocks (Block size =64 MB ). I am trying to convert a Fixed Length File to a Delimited ASCII File using Custom Record Reader class

Problem:

When the first split of the file is processed I am able to get the records properly when I see with a hive table on top of the data it is also accessing data node2 to fetch characters until the end of the record. But, the second split is starting with a \n character and also the number of records is getting doubled.

As part of the record reader inorder to skip the characters which is read in the first input split the following piece of code is added

The Input Fixed Length file has a \n character at the end of each record.

Should Any value be set to the start variable as well?

我试图弄清楚 hadoop 的不同版本，阅读此页面后我感到困惑。

问题：

1. 我认为任何以 0.xx 开头的版本都意味着它是 alpha 版本，不应在产品中使用，是这样吗？
2. 0.23.X 和 2.3.X 有什么区别？它提到它们相似但缺少名称节点？高可用性？0.23 和 2.3 之间有什么相关性吗？是不是因为他们在开发代码的时候，PMC小组说“伙计！它太不成熟了，应该让它从0开始，因为它们是相同的产品，我会保持数字不变？”
3. 当我查看新 hadoop 的源代码时，我发现 jobtracker 类原来是一个虚拟类。我正在设想jobtracker和tasktracker，即。Mapreduce1 将在 Hadoop 的路线图上慢慢淡出，在另一种情况下，Map Reduce Job 的接口可能保持不变，但第二代 Hadoop（YARN）将完全用 ResourceManager 取代 Jobtracker 和 Tasktracker 的想法。等等

抱歉，这个问题可能有点杂乱无章，因为我对版本号感到非常困惑。我想清楚后会修改问题。

我正在尝试使用以下配置在我的机器上运行单节点 hadoop 集群：

我可以毫无问题地格式化名称节点，但是当我尝试使用以下命令启动名称节点时：

我收到以下错误：

我没有为 hadoop 安装创建单独的用户“hduser”。我正在使用我现有的用户名。可能这就是我面临这个问题的原因。有人可以帮我解决这个问题吗？

我需要更改哪些权限才能使其正常工作？

更新 在摆弄并解决了权限问题之后，我已经转向了这里发布的新的愚蠢错误：hadoop Nanenode 不会启动 如果你能把我推向正确的方向，我会永远记住你们，这样我就可以开始一些真正的在这方面工作。

I have a very basic question! what libraries I need for MapReduce on HBase? I know I must use TableMapper and I've got hadoop-client 2.2.0 and hbase-client 0.98.2 from maven but there's no TableMapper in API. Thank you.

我正在对在 2 个节点 Hadoop 2.2.0 集群上运行的 M/R 作业进行一些测试。我想了解的一件事是在本地模式下运行作业（不由 ResourceManager 管理）并在 YARN 上运行它的性能注意事项。我所做的测试表明，当作业通过 LocalJobRunner 执行时，它的运行速度比由 YARN 管理时快得多。设置集群时，我按照这里描述的步骤http://raseshmori.wordpress.com/2012/10/14/install-hadoop-nextgen-yarn-multi-node-cluster/，也许有一些配置指南忘了说？

谢谢！

目前，我们在 3 个独立的生产项目中使用 Hadoop，每个集群由不同类型的服务器组成：

1. 集群 1：35TB 存储、中等内存和中等 CPU
2. 集群 2：200TB 存储，高内存和中 CPU
3. 集群 3：60TB 存储、高内存、高 CPU 和 SSD 硬盘

现在我们要从 3 个组中创建 1 个集群。因此，所有数据都将分布在每个组的成员之间。然而，我们想要安排特定于某些服务器的任务。例如，我想启动一个只适用于集群 1 成员的任务。

那可能吗？如果是怎么办？

我在 Ubuntu 14.04 上安装了 Hadoop 2.4，现在我正在尝试将内部 sata HD 添加到现有集群。

我已经在 /mnt/hadoop 中安装了新的 hd 并将其所有权分配给 hadoop 用户

然后我尝试将其添加到配置文件中，如下所示：

之后，我启动了 hdfs：

似乎它没有启动第二个高清

这是我的 core-site.xml

此外，我尝试刷新名称节点，但出现连接问题：

另外，我无法连接到 Hadoop Web 界面。看来我有两个相关的问题：

这些问题有关系吗？我该如何解决这些问题？

谢谢

编辑

我可以 ping 本地主机，我可以访问 localhost:50090/status.jsp

但是，我无法访问 50030 和 50070

我正在寻找一种干净的方法来实现挂钩到 Hadoop v2 的 java 事件系统。我知道有一个通知网址，我过去曾使用过它。我想要做的是挂钩 JobStatus 并将事件发布到队列服务以将事件传播到客户端。我尝试扩展工作并使用反射将状态分配给我的自定义 JobStatus 类，但这不起作用。我还粗略地查看了 Yarn 的事件系统，以添加一个钩子，让我可以监听纱线事件并传播这些事件。我真的需要关于如何完成此类任务的专家意见。我想将日志消息、状态更改事件实时发送到 Web 客户端。

感谢您提前提供任何帮助。

我无法将内容附加到 HDFS 中的现有文件。以下行抛出异常。

其中 dirPath 是“hdfs://master:54310/test/Readme.txt”。

请注意，我在单节点上运行 Hadoop 进行开发。

异常日志如下所示。

另请注意，在同一行，我有时会收到此异常

谁能详细说明为什么会抛出这些异常？