问题标签 [hadoop2]

我很好奇，但 MapReduce、Hadoop 等如何将一大块数据分解为独立操作的任务？我很难想象这是怎么回事，考虑到数据通常是相互关联的，任务之间的状态条件等等。

我在 Mahout 中执行贝叶斯算法时遇到问题。我用 Maven 构建了它，作业文件在目标目录中。当使用 Hadoop 从终端运行时，我收到 ClassNotFoundException 错误。应该做什么？

线程“主”java.lang.ClassNotFoundException 中的异常：java.net.URLClassLoader$1.run(URLClassLoader.java:200) 处 java.security.AccessController 处的 org.apache.mahout.classifier.bayes.mapreduce.bayes.bayesdriver。 doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:188) at java.lang.ClassLoader.loadClass(ClassLoader.java:307) at java.lang.ClassLoader.loadClass(ClassLoader.java:252)在 java.lang.ClassLoader.loadClassInternal(ClassLoader.java:320) 在 java.lang.Class.forName0(Native Method) 在 java.lang.Class.forName(Class.java:247) 在 org.apache.hadoop.util .RunJar.main(RunJar.java:149)

我已经使用 Virtualbox 在 OpenSuse 11.2 VM 上设置了 Hadoop。我已经进行了先决条件配置。我在独立模式下成功运行了这个示例。但在伪分布式模式下，我收到以下错误：

我继续进入Exceeded MAX_FAILED_UNIQUE_FETCHES减少阶段。

即使我尝试了所有可以在网上找到的解决方案。

节点：已安装服务

Master_Node：Namenode、JobTracker

配置文件附在下面：

核心站点.xml

mapred-site.xml

Hadoop 架构中的 Namenode 是单点故障。

拥有大型 Hadoop 集群的人如何应对这个问题？

是否有一个行业接受的、运行良好的解决方案，其中一个辅助 Namenode 接管以防主 Namenode 出现故障？

我想通过 hftp 协议使用 distcp 从 cdh3 和 cdh4 复制文件。命令如下： hadoop distcp hftp://cluster1:50070/folder1 hdfs://cluster2/folder2

但是由于http connection errorjobtracker UI中的一些原因，工作失败了

folder1 中的大多数文件将被复制到 folder2，但某些文件由于上述异常而失败。任何人都和我有同样的问题，以及如何解决这个问题？提前致谢。

到目前为止，我一直遵循 michael-noll 的指南，但被困在这里。

我尝试使用“Y”重新格式化名称节点，但对于任意文件夹名称每次都得到相同的结果。

有任何想法吗？

我目前正在运行CentOs的服务器上配置 hadoop 。当我运行start-dfs.shorstop-dfs.sh时，我收到以下错误：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类

我正在运行Hadoop 2.2.0。

在线搜索出现了这个链接：http ://balanceandbreath.blogspot.ca/2013/01/utilnativecodeloader-unable-to-load.html

但是，/native/hadoop 2.x 上的目录内容似乎有所不同，所以我不确定该怎么做。

我还在以下位置添加了这两个环境变量hadoop-env.sh：

导出 HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/"

导出 HADOOP_COMMON_LIB_NATIVE_DIR="/usr/local/hadoop/lib/native/"

有任何想法吗？

Hadoop 具有一致性和分区容错性，即它属于 CAP 定理的 CP 类别。

Hadoop 不可用，因为所有节点都依赖于名称节点。如果名称节点下降，集群就会下降。

但是考虑到 HDFS 集群有一个辅助名称节点这一事实，为什么我们不能将 hadoop 称为可用。如果名称节点关闭，则可以使用辅助名称节点进行写入。

使hadoop不可用的名称节点和辅助名称节点之间的主要区别是什么。

提前致谢。

当我尝试运行一个与 Cassandra 对话的简单 map reduce 程序时，我收到以下错误。我正在使用 Hadoop 2.2 和 Cassandra 2.0.2。解决此问题的人可以回复解决方案吗？