我是新手，我正在尝试找到解决此问题的方法。为了在 Ubuntu 15.10 上设置 Hadoop 2.7.2，我遵循了这个教程

http://idroot.net/tutorials/how-to-install-apache-hadoop-on-ubuntu-14-04/

当我启动“hdfs namenode format”时，我继续收到此错误错误：无法找到或加载主类 org.apache.hadoop.hdfs.server.namenode.NameNode

这是 bashrc 内容

谁能帮我解决这个（我认为是愚蠢的）问题？

非常感谢卡马

我敢肯定没有人开始平衡，有什么问题吗？

平衡运行如下： # hdfs balancer -threshold 1 16/02/19 15:10:02 INFO balancer.Balancer: Using a threshold of 1.0 16/02/19 15:10:02 INFO balancer.Balancer: namenodes = [hdfs://m1.h.c.test:8020, hdfs://m1.h.c.test] 16/02/19 15:10:02 INFO balancer.Balancer: parameters = Balancer.Parameters [BalancingPolicy.Node, threshold = 1.0, max idle iteration = 5, #excluded nodes = 0, #included nodes = 0, #source nodes = 0, run during upgrade = false] 16/02/19 15:10:02 INFO balancer.Balancer: included nodes = [] 16/02/19 15:10:02 INFO balancer.Balancer: excluded nodes = [] 16/02/19 15:10:02 INFO balancer.Balancer: source nodes = [] Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved java.io.IOException: Another Balancer is running.. Exiting ...

我使用 hdp 包： ii hadoop-2-3-2-0-2950 2.7.1.2.3.2.0-2950
ii hadoop-2-3-2-0-2950-client 2.7.1.2.3.2.0-2950
ii hadoop-2-3-2-0-2950-hdfs 2.7.1.2.3.2.0-2950
ii hadoop-2-3-2-0-2950-hdfs-namenode 2.7.1.2.3.2.0-2950

在 Ubuntu 15.10 上安装 Hadoop 2.7.1

一切正常，只有当我点击 JPS 时，我才能看到所有的恶魔都在运行，除了 namenode 。

一开始它显示： -su: /home/hduser/../libexec/hadoop-config.sh: No such file or directory

当我用谷歌搜索时，我才知道，我可以忽略这个，因为我的

设置正确并且 hduser（运行 hadoop 的用户）拥有这些文件夹的权限

任何线索？

我有一个关于 HDFS 读/写过程的问题：

假设我们有一个客户端（为了示例，假设客户端是一个 HADOOP 映射进程）请求从 HDFS 读取文件或将文件写入 HDFS，这是实际执行读取的进程/写入/写入HDFS？

我知道 Namenode 有一个进程，每个 Datanode 都有一个进程，它们对系统的一般职责是什么，但我在这种情况下感到困惑。

是客户端的进程本身还是 HDFS 中有另一个进程，创建并专用于这个特定的客户端，以便访问和读/写 HDFS？

最后，如果第二个答案是真的，那这个过程有没有可能暂停一段时间呢？

我做了一些研究，发现最重要的解决方案是来自 hadoop API的Oozie和JobControl类。

但是，因为我不确定上述工作流程，所以我不确定我正在使用这些工具暂停和恢复哪个流程。

是客户端的进程还是在 HDFS 中运行以服务客户端请求的进程？

我已经在 Windows 8 上安装了 oracle 虚拟机，并且想要使用多个节点进行集群。- 创建一个主节点 - 创建两个从节点

现在进行集群，因为它需要所有节点的 IP 地址，但在我的情况下，它显示所有节点的 IP 地址相同。[使用 ifconfig 命令查看的 IP，对于安装在 VM 10.0.2.15 上的所有节点都是相同的]

如何为每个节点获取不同的 IP？

当我运行 jps 输出如下

siu@siu-pc:~/project$ jps 6994 Jps 5365 ResourceManager 4902 DataNode 4330 DataNode 4829 DataNode 5616 NodeManager 4681 SecondaryNameNode 6684 RunJar 4997 DataNode 5092 DataNode 4077 NameNode

当hadoop作业运行时输出是

16/05/24 15:52:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 16/05/24 15:52:02 INFO client.RMProxy: Connecting to ResourceManager at localhost/127.0.0.1:8032 16/05/24 15:52:03 INFO input.FileInputFormat: Total input paths to process : 1 16/05/24 15:52:03 INFO mapreduce.JobSubmitter: number of splits:2 16/05/24 15:52:03 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1464084094270_0003 16/05/24 15:52:03 INFO impl.YarnClientImpl: Submitted application application_1464084094270_0003 16/05/24 15:52:03 INFO mapreduce.Job: The url to track the job: http://siu-pc:8088/proxy/application_1464084094270_0003/ 16/05/24 15:52:03 INFO mapreduce.Job: Running job: job_1464084094270_0003

这即使在几个小时后也没有完成

我正在尝试使用 java 从特定工作中获取所有计数器...我为 Hadoop 0.23.1 编写了工作代码：

知道为什么它在 2.7.1 中不起作用吗？

我正在尝试在 Oozie 上运行 MapReduce 作业，但它失败并被杀死。该错误也不会显示在 oozie 控制台中，它只给出以下错误消息：“Map/Reduce failed, error message[]”。我在哪里可以找到日志，它是否包含确切的错误。我是新手，不知道出了什么问题。任何人请告诉我以下代码有什么问题。我现在为此痛苦了两天。

这是我的 MapReduce 程序。

工作属性

工作流.xml

我还创建了上述 MapReduce 程序的 jar，并将其放在 lib 文件夹中。我不知道有什么问题请帮我解决这个问题。请...

我尝试在一个 Maven 项目中使用 mrunit 测试我的 MapReduce 2 作业。我从 Maven 中央仓库搜索并找到了结果：http ://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22org.apache.mrunit%22%20AND%20a%3A%22mrunit%22

在上面的链接中，最新的 mrunit 1.1.0 有hadoop1.jar而hadoop2.jar不是一个 jar 链接。正是由于这个原因，当我尝试添加相应的依赖项时

运行pom.xml，mvn package我得到以下编译错误： Could not find artifact org.apache.mrunit:mrunit:jar:1.1.0 in central (https://repo.maven.apache.org/maven2 ...

任何人都可以帮助解决这个问题吗？提前致谢

我刚刚开始学习 Pig，为此我在 Ubuntu 14.04 LTS 上安装了一个伪分布式 Hadoop 2.7.2，Pig 版本为 0.16.0。以下是我对 PIG 和 Hadoop 的配置 -

文件：.bashrc

========================

以下是我执行 pig 的目录

我也将此文件复制到 HDFS

现在......当我在 Grunt shell 中执行以下命令时，它给出了错误！

我已经尝试通过其他方式通过仅在本地模式而不是在 MapReduce 模式下执行 PIG 来解决它，但似乎没有任何效果。每次这两个简单的命令都失败了。

错误日志文件打印以下消息

请求您的帮助！