5

我正在运行著名的 wordcount 示例。我有一个本地和产品 hadoop 设置。相同的示例在 prod 中工作，但在本地不工作。有人可以告诉我我应该寻找什么。工作卡住了。任务日志是：

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test
Warning: $HADOOP_HOME is deprecated.

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015
13/08/29 16:12:36 INFO mapred.JobClient:  map 0% reduce 0%

本地 hadoop 以伪分布式模式运行。所有 3 个进程，namenode，datanode，jobtracker 都在运行。让我知道是否需要一些额外的信息。

4

5 回答 5

3

任务跟踪器似乎丢失了。

尝试：

hadoop tasktracker &
于 2013-09-27T19:37:49.383 回答
2

在 Hadoop 2.x 中，此问题可能与内存问题有关，您可以在 Hadoop 2.2.0 中的 MapReduce 中看到它不起作用

于 2014-04-23T17:11:53.583 回答
1

除了hadoop tasktracker &和任何其他问题。请检查您的代码并确保没有infinite loop或任何其他错误。也许您的代码中有一些错误！

于 2016-06-27T03:41:28.457 回答
1

我有同样的问题，这个页面帮助了我： http ://www.alexjf.net/blog/distributed-systems/hadoop-yarn-installation-definitive-guide/

基本上我使用以下 3 个步骤解决了我的问题。事实是我必须配置更多我真正拥有的内存。

1) 纱线站点.xml

  • yarn.resourcemanager.hostname = hostname_of_the_master
  • yarn.nodemanager.resource.memory-mb = 4000
  • yarn.nodemanager.resource.cpu-vcores = 2
  • yarn.scheduler.minimum-allocation-mb = 4000

2）mapred-site.xml

  • yarn.app.mapreduce.am.resource.mb = 4000
  • yarn.app.mapreduce.am.command-opts = -Xmx3768m
  • mapreduce.map.cpu.vcores = 2
  • mapreduce.reduce.cpu.vcores = 2

3) 跨所有节点发送这些文件

于 2015-09-18T18:59:13.597 回答
0

如果在使用 Hive 查询时出现此问题，请检查您是否在不利用分区的情况下连接两个非常大的表。不使用分区可能会导致长时间运行的全表扫描，因此卡在 map 0% reduce 0%。

于 2016-10-14T18:30:11.597 回答