11

如果我键入 http://localhost:50070或 http://localhost:9000查看节点，我的浏览器不会显示任何内容，我认为它无法连接到服务器。我用这个命令测试了我的hadoop：

hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

但也没有工作，它试图连接到服务器，这是输出：

12/06/06 17:25:24 INFO mapred.FileInputFormat: nrFiles = 10
12/06/06 17:25:24 INFO mapred.FileInputFormat: fileSize (MB) = 1000
12/06/06 17:25:24 INFO mapred.FileInputFormat: bufferSize = 1000000
12/06/06 17:25:25 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s).
12/06/06 17:25:26 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s).
12/06/06 17:25:27 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 2 time(s).
12/06/06 17:25:28 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 3 time(s).
12/06/06 17:25:29 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 4 time(s).
12/06/06 17:25:30 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 5 time(s).
12/06/06 17:25:31 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 6 time(s).
12/06/06 17:25:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 7 time(s).
12/06/06 17:25:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 8 time(s).
12/06/06 17:25:34 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s).
java.net.ConnectException: Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException: Connection refused

我更改了一些这样的文件：在 conf/core-site.xml 中：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

在 conf/hdfs-site.xml 中：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
</configuration>

在 conf/mapred-site.xml 中：

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

感谢您的关注。如果我运行这个命令：

cat /etc/hosts

我懂了：

127.0.0.1   localhost
127.0.1.1   ubuntu.ubuntu-domain    ubuntu

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

如果我运行这个：

ps axww | grep hadoop

我看到了这个结果：

2170 pts/0    S+     0:00 grep --color=auto hadoop

但没有效果。你有什么想法，我该如何解决我的问题？

4

6 回答 6

13

在启动 hadoop 服务之前，您需要注意的事项很少。

检查返回的内容：

hostname --fqdn

在您的情况下，这应该是 localhost。还要在 /etc/hosts 中注释掉 IPV6。

您是否在启动 HDFS 之前格式化了名称节点。

hadoop namenode -format

你是如何安装 Hadoop 的。日志文件的位置将取决于此。如果您使用过 cloudera 的发行版，通常它位于“/var/log/hadoop/”位置。

如果你是一个完全的新手，我建议使用 Cloudera SCM 安装 Hadoop，这很容易。我已经发布了使用 Cloudera 的发行版安装 Hadoop 的方法。

还

确保 DFS 位置具有写入权限。它通常坐@/usr/local/hadoop_store/hdfs

这是一个常见的原因。

于 2012-06-06T17:59:37.663 回答
4

我遇到了同样的问题，这解决了我的问题：

问题在于对文件夹“chmod”755 或更高权限的文件夹 /home/username/hadoop/*

于 2012-11-23T10:44:47.977 回答
4

另一种可能是namenode没有运行。

您可以删除 HDFS 文件：

rm -rf /tmp/hadoop*

重新格式化 HDFS

bin/hadoop namenode -format

并重启hadoop服务

bin/hadoop/start-all.sh (Hadoop 1.x)

或者

sbin/hadoop/start-all.sh (Hadoop 2.x)
于 2014-05-22T15:35:45.710 回答
2

还编辑您的 /etc/hosts 文件并将 127.0.1.1 更改为 127.0.0.1 ...正确的 dns 分辨率对于 hadoop 非常重要，而且也有点棘手..还在您的 core-site.xml 文件中添加以下属性 - 

<property>
      <name>hadoop.tmp.dir</name>
      <value>/path_to_temp_directory</value>
    </property>

此属性的默认位置是 /tmp 目录，该目录在每次系统重新启动后都会被清空。所以每次重新启动时都会丢失所有信息。还在 hdfs-site.xml 文件中添加这些属性 -

<property>
        <name>dfs.name.dir</name>
        <value>/path_to_name_directory</value>
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/path_to_data_directory</value>
    </property>
于 2012-06-06T19:15:51.543 回答
1

我假设这是您第一次安装 hadoop。

在开始时，请检查您的守护进程是否正常工作。为此使用（在终端中）：

jps

如果只有 jps 出现，则意味着所有守护程序都已关闭。请检查日志文件。特别是名称节点。日志文件夹可能在某处 /usr/lib/hadoop/logs

如果您有一些权限问题。在安装过程中使用本指南。

很好的安装指南

我正在使用这种解释进行拍摄，但这些是最常见的问题。

于 2012-06-06T18:44:18.787 回答
0

嗨编辑您的核心 conf/core-site.xml 并将 localhost 更改为 0.0.0.0。使用下面的conf。那应该行得通。

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://0.0.0.0:9000</value>
  </property>
于 2015-11-05T18:58:43.163 回答