0

我最近在 Windows 7（64 位）上安装了 Hadoop 1.0.4 和 cygwin。我已经根据这个站点配置了 *-site.xml 。我能够完美地完成所有事情，但我的程序在这个特定点挂起：

$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
13/02/12 15:15:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for         
your platform... using builtin-java classes where applicable
13/02/12 15:15:17 WARN snappy.LoadSnappy: Snappy native library not loaded
13/02/12 15:15:17 INFO mapred.FileInputFormat: Total input paths to process : 16
13/02/12 15:15:17 INFO mapred.JobClient: Running job: job_201302121513_0002
13/02/12 15:15:18 INFO mapred.JobClient:  map 0% reduce 0%

我也检查了 jobtracker 和 tasktracker。一个节点处于活动状态，提交总数为 1，但没有活动作业！那里什么都没有运行..没有映射/没有减少！我现在很困惑，我什么也做不了。请帮助 wat 下一步做什么。PS：我只在一台机器上尝试伪单节点设置。请指导我该怎么做？即使 jps 命令也不起作用？我已将路径设置为 C:\jdk_1.6.0_15。

4

2 回答 2

0

为了让 JPS 工作，路径为 C:\jdk_1.6.0_15/bin

关于 Job 未运行，请检查 Job-tracker 日志。可能是某些配置错误导致作业中止。

您也可以专门尝试在配置中设置映射器和减速器的最大数量。它可能被设置为零

希望能帮助到你

于 2013-02-13T06:57:32.553 回答
0

1) 使用 jps/ps 检查您的 hadoop 状况，所有组件都工作正常吗？

2）检查java版本。它必须是sun/oracle jdk > = 6，检查hadoop-env.sh中的java配置（主要是JAVA_HOME）

3）检查/hadoop-1.*/lib/native本机库的文件夹，这些是否支持您的平台？

如果它们不存在，则使用此指令链接进行编译，因为（本机库仅在 *nix 平台即 Unix/Linux 系统上进行测试，然后将库加载到您的文件系统中，如上所述

有用的其他链接

即使这不起作用，请尝试使用 hadoop-0.20，因为例如，这适用于 windows-64 位，您可以尝试

hadoop-0.20.2/bin/hadoop jar /home/trendwise/apache/hadoop-0.20.2/hadoop-0.20.2-examples.jar pi 16 1000

于 2013-02-13T12:22:35.420 回答