问题标签 [hadoop-yarn]

我尝试从网站 http://hadoop.apache.org/docs/current2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html运行第一个示例

以下是我的代码

但我可以获得应用程序ID。并提交申请到yarn，但申请总是失败，我在master上查看nodemanger日志，我发现了这些错误

我在 PC A 上运行示例，但我在 PC B 上部署了 hadoop。jar 位于 PC A 上。

经过调查，我无法修复它。但我有一些问题。
1）我需要将jar上传到hdfs吗？如果我需要，我知道该怎么做
2）我只是为了了解yarn的一些原理，如果我想提交申请，我需要上传jar给master吗？我可以将jar文件上传到master的本地文件系统吗？如果可以，如何设置路径？

我正在学习 hadoop，对默认端口和位置有点困惑。

当我点击 URL 时：localhost:50070 给出了 hdfs 信息的结果。在 hadoop 文档中，以下是提到的一些端口。

hdfs-default.xml

mapred-default.xml

纱线-default.xml

现在在我的机器上配置 Hadoop 2 时，我做了： $ cd /usr/local/hadoop/etc/hadoop $ vi core-site.xml

问题：文档中的默认和其他 xml 中提到了很多端口....

1) localhost:50070 只返回一些有意义的完整数据（hdfs 健康），其他端口呢。其他人只是不返回任何信息？

2) 在 yarn-default.xml 中，两者都是资源管理器端口，区别之一是 webapp 端口。只有当我在浏览器中点击 localhost:8088 时，它才会提供集群（在这种情况下为单个节点）信息。那么8083端口是什么？在示例代码中，我看到 8083 是 RM 端口。我不清楚。有人可以解释一下吗

3）我将hdfs端口更改为9000是标准吗？

4)如何查看appmaster、jobtracker、tasktracker端口

5) 我认为在 yarn hadoop 2 中没有 jobtracker 和 tasktracker 那么这些端口的用途是什么？

我对这些基本问题做噩梦......

谢谢，阿米特

我已经安装了 Hadoop 集群，它是 hadoop 0.23.9 版本。我安装了 HDFS-1943.patch，现在我可以启动所有的 namenode 和 datanode。（start-dfs.sh 为我工作）

但是，当我想启动 yarn daemons (running start-yarn.sh) 时，它会显示与之前发生的相同的以下错误：

我已经安装了补丁并且 start-dfs.sh 正在为我工​​作。为什么 start-yarn.sh 不起作用？

我的 YARN 集群中的一个节点有 64GB 内存和 24 个内核。我在 yarn-site.xml 中设置了以下属性：

但是我发现节点中的nodemanager仍然只有7个容器。我需要设置哪些其他属性？

我意识到 Yarn 是一个完整的资源管理器，不再是 MapReduce 特定的。这是否意味着我可以在同一个集群中运行 Web 应用程序和 MapReduce 作业？比如说，我可以运行 12 个 http 服务实例，然后 Yarn 会为我分叉并终止它们吗？如果不是，什么是好的集群资源管理器？

堆栈交换和 Giraph 的新手，因此请忽略错误并提出任何澄清问题。

操作系统：ubuntu 13.10

Hadoop/Yarn：hadoop-2.2.0/（2 节点集群）

Giraph：1.0.0（编辑：主干）

当我尝试运行以下示例时，我收到了 NullPointerException (NPE)：

$ hadoop jar $GIRAPH_HOME/giraph-examples/target/giraph-examples-1.1.0-SNAPSHOT-for-hadoop-2.2.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph。 examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/hduser/rrdata/tiny_graph.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/rrdata/输出/tiny_graph.out -w 1

堆栈跟踪：

org.apache.giraph.yarn.GiraphYarnClient.checkJobLocalZooKeeperSupported(GiraphYarnClient.java:460) 处 org.apache.giraph.yarn.GiraphYarnClient.run(GiraphYarnClient.java:116) 处的线程“主”java.lang.NullPointerException 中的异常org.apache.giraph.GiraphRunner.run(GiraphRunner.java:96) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.util.ToolRunner.run(ToolRunner. java:84) 在 org.apache.giraph.GiraphRunner.main(GiraphRunner.java:126) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun org.apache.hadoop.util 中的 java.lang.reflect.Method.invoke(Method.java:606) 中的 .reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)。RunJar.main(RunJar.java:212)

似乎与动物园管理员有关。我安装了 zookeeper，但在配置错误之前没有使用它。我已经尝试过-Dgiraph.zkList=hostname:port相关选项，但得到“无法识别的选项”异常。

为这种情况寻找正确的 zookeeper 设置。如果我弄清楚了，我会发布回复。

我已经配置了yarn的历史服务器。但它看起来只能帮助我查看 mapreduce 作业的历史日志。我仍然看不到非 mapreduce 作业的日志。如何查看非 mapreduce 作业的历史日志？

我根据这篇文章在 Ubuntu 12.04 LTS 中部署了 Hadoop 2.2.0：http ://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html?m=1

一切都很好，除了当我在最后一步尝试运行 Hadoop 示例时，它暂停并显示消息 Job Running

在 ResourceManager Web GUI 中，我看到“App is Pending”。那么，我如何才能更改为运行状态？

截图： http: //farm8.staticflickr.com/7344/11031415055_d987e937aa_o.png

谢谢！:)

我想将 hadoop mapreduce 源导入到 eclipse 中，这样我就可以修改它。

这里的文档http://wiki.apache.org/hadoop/EclipseEnvironment非常适合在 eclipse 中设置 hdfs，但是 mapreduce 的步骤不起作用（选择 hadoop-mapreduce-project 目录作为根目录，选择hadoop-mapreduce-project项目->但是没有mapreduce项目可以选择）。

有没有人设置这个来干净地构建？

我在 MacOS 开发环境中使用 Apache Hadoop 2.2.0。当尝试按照 apache 文档中的描述运行 hadoop minicluster 时：

我收到错误

java.lang.NoClassDefFoundError: org.apache.hadoop.mapreduce.MiniHadoopClusterManager.start(MiniHadoopClusterManager.java:170) 上的 org/apache/hadoop/yarn/server/MiniYARNCluster org.apache.hadoop.mapreduce.MiniHadoopClusterManager.run(MiniHadoopClusterManager .java:129) 在 . . . . . . .

任何想法如何解决这个问题？