问题标签 [hadoop2]

Im facing an issue while running a MapReduce program using Hadoop 2 (YARN) and Pig. I'm able to read data from Cassandra using Pig script, however when running MapReduce, it is throwing the exception as given below:

我对 Hadoop-2.x 中 tasktracker 的位置有点困惑。

Hadoop-1.x 中的守护进程是namenode, datanode, jobtracker, taskracker and secondarynamenode

Hadoop-2.x 中的守护进程是namenode, datanode, resourcemanager, applicationmaster, secondarynamenode.

这表示Jobtracker has split up into: resourcemanager and applicationmaster

那么在哪里tasktracker呢？

错误消息如下所示：

事实上，我知道问题的答案。/mr-history 文件的默认设置为：

hadoop fs -chown -R $MAPRED_USER:$HDFS_USER /mr-history

但是在运行作业时（在 $HDFS_USER 下），作业文件保存到 $HDFS_USER:$HDFS_USER 下的 /mr-history/tmp/hdfs，然后 $MAPRED_USER 无法访问（其中运行 JobHistory 服务器）。再次更改权限后，可以加载作业文件。

但每一份新工作都会再次发生这种情况。那么有人可以帮助我，这是什么永久解决方案，谢谢。

我第一次从本教程（链接）安装 hadoop v2.2。

我的名称节点运行良好http://localhost:50070/
但我的数据节点没有运行：http://localhost:50030/。

如果您需要任何命令的输出，请告诉我。

谢谢

您好，我是 Hadoop 新手，对版本名称很困惑，我应该在 1.x（强大的支持和学习资源）、2.2 或 0.23 中使用哪一个。

我已经读到 hadoop 正在从 v0.23 ( link1 ) 完全迁移到 YARN。
但与此同时，hadoop v2.0 正在向 YARN ( link2 ) 迁移，我可以在 Hadoop 2.2 本身中看到 YARN 配置文件。

• 但是由于 0.23 对我来说似乎是最新版本，所以 2.2 也支持 YARN 吗？（参考链接 1，它说 hadoop 将从 v0.23 开始支持 YARN）
• 作为初学者，我应该使用 1.x 或 2.x 哪个版本来学习 hadoop 的视角。
  
• 其他适用于 hadoop 的技术（如 pig、hive 等）是否可用于最新版本的 hadoop？

谢谢。

更新
谢谢大家的回复。我最终使用了 hadoop2.2，因为所有著名的教程和资源都已过时，尽管我找到了一本好书来开始使用 v2.2。

“Hadoop：权威指南，第三版”，Tom White（在此处购买）

支持hadoop v2.2。

源代码在github https://github.com/tomwhite/hadoop-book上给出

正如github上提到的，本书的代码是用

希望能帮助到你..！！！

我已经从此链接安装了单节点 hadoop 2.2.0 。当我从终端运行作业时，它可以正常输出。我使用的 Web UI

但是从资源管理器的 Web UI（如上所示）我看不到提交的作业、正在运行的作业等作业进度。

我的 /etc/hosts 文件如下：

我的系统有 IP：192.168.2.96（我试过删除这个 ip 但还是不行）

我提到的唯一主机：端口在 core-site.xml 中，即：

驱动代码：

减速机代码

在这里，在驱动程序类中我设置了job.setOutputKeyClass(Text.class)and job.setOutputValueClass(LongWritable.class)，但在减速器类中我正在编写一个 string context.write(new Text(key1), "ABC");。我认为运行程序时应该会出错，因为输出类型不匹配，并且reducer的键应该实现WritableComparable，值应该实现Writable接口。奇怪的是，这个程序运行良好。我不明白为什么没有例外。

我为 MapReduce 任务编写了以下代码

当运行代码以及以下生成文件时：-

显示以下错误：-

在函数partitionReducer::reduce(HadoopPipes::ReduceContext&)': partitionMR.cpp:(.text._ZN16partitionReducer6reduceERN11HadoopPipes13ReduceContextE[partitionReducer::reduce(HadoopPipes::ReduceContext&)]+0x1a9): undefined reference toHadoopUtils::toString(int)' collect2: ld 返回 1 退出状态 make: * [partitionMR] 错误 1

关于我得到的错误的任何线索？！？

请帮助！谢谢 ！

我有 3 个节点的 hadoop 2.2.0 集群，上面安装了 sqoop 2。当我启动 sqoop 服务器时，出现以下异常：

原因是什么？

我正在尝试安装 hadoop 2.2.0 我在启动 dataenode 服务时遇到以下错误，请帮助我解决这个问题。在此先感谢。

2014-03-11 08:48:16,406 INFO org.apache.hadoop.hdfs.server.common.Storage：锁定 /home/prassanna/usr/local/hadoop/yarn_data/hdfs/datanode/in_use.lock 由节点名获取3627@prassanna-Studio-1558 2014-03-11 08:48:16,426 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode：块池块池 BP-611836968-127.0.1.1-1394507838610 初始化失败（存储id DS-1960076343-127.0.1.1-50010-1394127604582) 服务到 localhost/127.0.0.1:9000 java.io.IOException：/home/prassanna/usr/local/hadoop/yarn_data/hdfs/datanode 中的集群 ID 不兼容：namenode clusterID = CID-fb61aa70-4b15-470e-a1d0-12653e357a10；数据节点集群 ID = CID-8bf63244-0510-4db6-a949-8f74b50f2be9 在org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:391) 在 org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:191) 在 org.apache。 hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:219) 在 org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:837) 在 org.apache.hadoop.hdfs。 server.datanode.DataNode.initBlockPool(DataNode.java:808) 在 org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:280) 在 org.apache.hadoop.hdfs.server.datanode。 BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:222) at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:664) at java.lang.Thread.run(Thread.java:662) 2014- 03-11 08:48:16,427 警告组织。apache.hadoop.hdfs.server.datanode.DataNode：结束块池服务：块池BP-611836968-127.0.1.1-1394507838610（存储ID DS-1960076343-127.0.1.1-50010-1394127604582）服务到localhost/127.0。 0.1:9000 2014-03-11 08:48:16,532 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：删除块池 BP-611836968-127.0.1.1-1394507838610（存储 ID DS-1960076343-127.0.1.1 -50010-1394127604582) 2014-03-11 08:48:18,532 警告 org.apache.hadoop.hdfs.server.datanode.DataNode：退出 Datanode 2014-03-11 08:48:18,534 信息 org.apache.hadoop.util .ExitUtil：退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /1-50010-1394127604582) 服务到 localhost/127.0.0.1:9000 2014-03-11 08:48:16,532 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：删除块池 BP-611836968-127.0.1.1 -1394507838610（存储 ID DS-1960076343-127.0.1.1-50010-1394127604582）2014-03-11 08:48:18,532 WARN org.apache.hadoop.hdfs.server.datanode.DataNode：退出 Datanode 2014-03-1108 :48:18,534 INFO org.apache.hadoop.util.ExitUtil: 退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /1-50010-1394127604582) 服务到 localhost/127.0.0.1:9000 2014-03-11 08:48:16,532 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：删除块池 BP-611836968-127.0.1.1 -1394507838610（存储 ID DS-1960076343-127.0.1.1-50010-1394127604582）2014-03-11 08:48:18,532 WARN org.apache.hadoop.hdfs.server.datanode.DataNode：退出 Datanode 2014-03-1108 :48:18,534 INFO org.apache.hadoop.util.ExitUtil: 退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: /18,534 INFO org.apache.hadoop.util.ExitUtil：退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：SHUTDOWN_MSG：/18,534 INFO org.apache.hadoop.util.ExitUtil：退出状态为 0 2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode：SHUTDOWN_MSG：/* ** * ** * ** * ** * ** * ** * ** * ** * ** * ** * *** SHUTDOWN_MSG：在 prassanna-Studio-1558/127.0.1.1 关闭 DataNode