1

首先，我安装了 Hadoop (0.15.2) 并设置了一个包含 3 个节点的集群：NameNode、DataNode 和 JobTracker 各一个。所有守护程序都已启动并正在运行。但是当我发出任何命令时，都会出现上述错误。例如，当我执行 copyFromLocal 时，我收到以下错误：

我错过了什么吗？

更多详细信息：我正在尝试在 NFS 文件系统上安装 Hadoop。我已经安装了 1.0.4 版本并尝试运行它但无济于事。1.0.4 版本不启动数据节点。并且数据节点的日志文件是空的。因此我切换回 0.15 版本，它至少启动了所有守护进程。

我相信问题是由于底层 NFS 文件系统，即所有数据节点和主节点使用相同的文件和文件夹。但我不确定是否真的如此。但是我看不出有什么理由不能在 NFS 上运行 Hadoop（在适当地设置了配置参数之后）。

目前我正在尝试并弄清楚是否可以根据各个机器名称为不同的机器设置不同的名称和数据目录。

配置文件：（hadoop-site.xml）

 <property>
 <name>fs.default.name</name>
 <value>mumble-12.cs.wisc.edu:9001</value>
 </property>
 <property>
 <name>mapred.job.tracker</name>
 <value>mumble-13.cs.wisc.edu:9001</value>
 </property>
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
 <property>
 <name>dfs.secondary.info.port</name>
 <value>9002</value>
 </property>
 <property>
 <name>dfs.info.port</name>
 <value>9003</value>
 </property>
 <property>
 <name>mapred.job.tracker.info.port</name>
 <value>9004</value>
 </property>
 <property>
 <name>tasktracker.http.port</name>
 <value>9005</value>
 </property>

使用 Hadoop 1.0.4 时出错（DataNode 未启动）：

2013-04-22 18:50:50,438 INFO org.apache.hadoop.ipc.Server: IPC Server handler 7 on     9001, call addBlock(/tmp/hadoop-akshar/mapred/system/jobtracker.info, DFSClient_502734479, null) from 128.105.112.13:37204: error: java.io.IOException: File /tmp/hadoop-akshar/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
java.io.IOException: File /tmp/hadoop-akshar/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1

使用 Hadoop 0.15.2 时出错：

[akshar@mumble-12] (38)$ bin/hadoop fs -copyFromLocal lib/junit-3.8.1.LICENSE.txt input

13/04/17 03:22:11 WARN fs.DFSClient: Error while writing.
java.net.SocketException: Connection reset
    at java.net.SocketInputStream.read(SocketInputStream.java:189)
    at java.net.SocketInputStream.read(SocketInputStream.java:121)
    at java.net.SocketInputStream.read(SocketInputStream.java:203)
    at java.io.DataInputStream.readShort(DataInputStream.java:312)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.endBlock(DFSClient.java:1660)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.close(DFSClient.java:1733)
    at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:49)
    at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:64)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:55)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:83)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:140)
    at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:826)
    at org.apache.hadoop.fs.FsShell.copyFromLocal(FsShell.java:120)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:1360)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:1478)
13/04/17 03:22:12 WARN fs.DFSClient: Error while writing.
java.net.SocketException: Connection reset
    at java.net.SocketInputStream.read(SocketInputStream.java:189)
    at java.net.SocketInputStream.read(SocketInputStream.java:121)
    at java.net.SocketInputStream.read(SocketInputStream.java:203)
    at java.io.DataInputStream.readShort(DataInputStream.java:312)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.endBlock(DFSClient.java:1660)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.close(DFSClient.java:1733)
    at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:49)
    at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:64)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:55)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:83)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:140)
    at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:826)
    at org.apache.hadoop.fs.FsShell.copyFromLocal(FsShell.java:120)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:1360)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:1478)
13/04/17 03:22:12 WARN fs.DFSClient: Error while writing.
java.net.SocketException: Connection reset
    at java.net.SocketInputStream.read(SocketInputStream.java:189)
    at java.net.SocketInputStream.read(SocketInputStream.java:121)
    at java.net.SocketInputStream.read(SocketInputStream.java:203)
    at java.io.DataInputStream.readShort(DataInputStream.java:312)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.endBlock(DFSClient.java:1660)
    at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.close(DFSClient.java:1733)
    at org.apache.hadoop.fs.FSDataOutputStream$PositionCache.close(FSDataOutputStream.java:49)
    at org.apache.hadoop.fs.FSDataOutputStream.close(FSDataOutputStream.java:64)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:55)
    at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:83)
    at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:140)
    at org.apache.hadoop.fs.FileSystem.copyFromLocalFile(FileSystem.java:826)
    at org.apache.hadoop.fs.FsShell.copyFromLocal(FsShell.java:120)
    at org.apache.hadoop.fs.FsShell.run(FsShell.java:1360)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.fs.FsShell.main(FsShell.java:1478)
copyFromLocal: Connection reset
4

1 回答 1

0

我能够使用 1.1.2 版让 Hadoop 在 NFS 上运行。它可能适用于其他版本，但我不能保证任何事情。

如果您有 NFS 文件系统，那么每个节点都应该有权访问该文件系统。fs.default.name 告诉 Hadoop 要使用的文件系统 URI，因此它应该指向本地磁盘。我假设您的 NFS 目录安装在 /nfs 的每个节点上。

在 core-site.xml 你应该定义：

<property>
  <name>fs.default.name</name>
  <value>file:///</value>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/nfs/tmp</value>
</property>

在 mapred-site.xml 你应该定义：

<property>
  <name>mapred.job.tracker</name>
  <value>node1:8021</value>
</property>

<property>
  <name>mapred.local.dir</name>
  <value>/tmp/mapred-local</value>
</property>

由于 hadoop.tmp.dir 指向 nfs 驱动器，因此 mapred.system.dir 和 mapreduce.jobtracker.staging.root.dir 的默认位置指向 nfs 驱动器上的位置。它可能会在保留 mapred.local.dir 的默认值的情况下运行，但它应该指向本地文件系统，因此为了安全起见，您可以将其放在 /tmp 中。

您不必担心 hdfs-site.xml。此配置文件在您启动 namenode 时使用，但所有内容都分布在 nfs 驱动器上，您不应该运行 HDFS。

现在您可以在 jobtracker 节点上运行 start-mapred.sh 并运行 hadoop 作业。不要运行 start-all.sh 或 start-dfs.sh，因为它们会启动 HDFS。如果您运行多个指向同一个 NFS 目录的 DataNode，那么一个 DataNode 将锁定该目录，而其他 DataNode 将因为无法获得锁定而关闭。

我测试了配置：

bin/hadoop jar hadoop-examples-1.1.2.jar wordcount /nfs/data/test.text /nfs/out

请注意，您需要指定输入和输出位置的完整路径。

我也试过：

bin/hadoop jar hadoop-examples-1.1.2.jar grep /nfs/data/loremIpsum.txt /nfs/out2 lorem

它给了我与我在 Standalone 中运行它时相同的输出，所以我认为它执行正确。

以下是有关 fs.default.name 的更多信息：http: //www.greenplum.com/blog/dive-in/usage-and-quirks-of-fs-default-name-in-hadoop-filesystem

于 2013-06-22T23:16:36.367 回答