问题标签 [hadoop3]

之后start-dfs.sh，我可以导航到http://localhost:9870。NameNode 似乎运行得很好。

然后我点击“Utilities -> Browse the file system”，我在网络浏览器中得到这个提示：

挖掘日志文件（$HADOOP_HOME/logs/hadoop-xxx-namenode-xxx.log），我发现：

所以缺少一个类。为什么会这样，我该如何解决这个问题？

我目前关心块放置，我们试图在 Hadoop 3 中实现我们自己的放置算法。在 Hadoop 2 中，我们可以找到一个名为的文件PlacementMonitor.java，我们可以在其中提供我们的放置策略，但我在 Hadoop 中找不到任何这样的文件3 源代码。有人可以指出我在哪里可以找到具有相似功能的文件吗？

Hadoop 3 中的资源模型允许我们定义自定义资源类型。我做了一些谷歌搜索，但找不到任何可以说明如何配置 YARN FairScheduler 以在其池中分配/隔离这些资源的信息。

我在 Ubuntu 上使用 VMware 在3 个虚拟机上安装了 hadoop 3.1.1 。当我运行hdfs namenode -format和 start-all.sh 然后jps在我的主节点和两个从节点上正常工作。

但是，使用命令hdfs dfsadmin -report，我只能看到一个实时数据节点（当我检查 master:50070 或 8088 时得到相同的结果）。

我尝试按如下方式禁用防火墙：ufw disable但它没有解决问题。3 台机器可以通过ping和ssh相互连接（无需密码）。我还删除了带有 datanode 和 namenode 文件夹的 hadoop tmp 文件夹，但效果不佳。日志文件中也没有显示任何问题。

您是否有任何解决方案来获得三个实时数据节点而不是一个？谢谢。

这些是我的配置文件：

纱线站点.xml

hdfs-site.xml

核心站点.xml

工作人员

我正在尝试将 Hadoop MapReduce 作业集成为我作为个人项目开发的 Hadoop 作业调度软件客户端 (GUI) 的一部分。我现在有两个文件：第一个是客户端，第二个是正常运行的 MapReduce 程序（我能够在 Hadoop 框架上运行）。

我如何能够从我创建的客户端将我的 MapReduce 程序作为后台进程执行？ 不幸的是，这里提到的答案：[ Calling a mapreduce job from a simple java program ]，就像我在网上查看的许多其他人一样，似乎被贬低了，并且没有提到Hadoop 3的最新程序（我目前正在使用 Hadoop 3.1.1)。

正如一些额外的背景信息：我正在开发的客户端的主要目的是允许个人通过 GUI 分配工作，并获得实时反馈并对工作过程进行统计分析。

我的目标是允许我的程序基于单击按钮执行 MapReduce 作业。非常感谢您的时间和考虑，我期待看到您的回复:)

我正在尝试在 Windows-10 上安装 Hadoop(3.1.2)，但数据节点和节点管理器关闭。

我已经尝试下载并将 winutils.exe 和 hadoop.dll 文件放在 bin 目录下。我还尝试更改文件的权限并以管理员身份运行。但它没有修复错误

Datanode关闭错误

节点管理器关闭错误

我知道这个问题太多了，因为 hadoop 安装的繁琐任务，但任何帮助将不胜感激

我正在使用 Hadoop 3.2.0 并尝试在 docker 容器中运行一个简单的应用程序，并且我在yarn-site.xml和container-executor.cfg中都进行了所需的配置更改，以选择 LinuxContainerExecutor 和 docker 运行时。

我在 hortonworks 博客之一中使用了分布式 shell 的示例。https://hortonworks.com/blog/trying-containerized-applications-apache-hadoop-yarn-3-1/

我在这里遇到的问题是，当应用程序提交到 YARN 时，它会失败，原因与目录创建问题有关，并出现以下错误

2019-02-14 20:51:16,450 INFO Distributedshell.Client：从 ASM 获取应用程序报告，appId=2，clientToAMToken=null，appDiagnostics=Application application_1550156488785_0002 失败 2 次，因为 appattempt_1550156488785_0002_000002 的 AM 容器以 exitCode：-100 退出这次尝试。诊断：[2019-02-14 20:51:16.282]Application application_1550156488785_0002 初始化失败（exitCode=20），输出：main：提供的命令 0 main：用户是 myuser main：请求的纱线用户是 myuser 无法创建目录/data/yarn/local/nmPrivate/container_1550156488785_0002_02_000001.tokens/usercache/myuser - 不是目录

我在 yarn-site.xml 中配置了 yarn.nodemanager.local-dirs，我可以在 YARN web ui localhost:8088/conf中看到同样的内容

我不明白为什么它试图在 nmPrivate 目录中创建用户缓存目录。

注意：我已经验证了 myuser 对目录的权限，并且还尝试按照相关帖子中的建议手动清除目录。但没有果实。我没有在任何其他日志中看到有关容器启动失败的任何其他信息。

如何调试为什么用户缓存目录没有正确解析？

非常感谢您对此的任何帮助。

Hadoop 3 已经 15 个月大，EMR 官方发布标签仍然只支持 Hadoop 2。

我找不到关于如何在 EMR 上设置 Hadoop 3.1.2 的快速文档。大多数人不使用它吗？似乎比它应该更困难，我错过了什么？

运行 start-dfs.sh 启动 hadoop 服务时出现以下错误：

我的 hdfs-site.xml 只有以下内容：

问题。NameNode 和 DataNode 将安装在哪里？我在装有 Windows 10 的 MSFT Surface 笔记本电脑上使用 Hadoop 3.0.3 版本。