问题标签 [hadoop3]

我正在关注https://amodernstory.com/2014/09/23/installing-hadoop-on-mac-osx-yosemite/在我的 Mac 上安装 hadoop 以执行本地小任务。

当 hstart/hstop 时，得到“ WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”

已尝试以下链接中的选项来重命名 lib/native 的文件夹/路径。重命名libexec/为lib/libexec 应该正确的脚本中的错误。 Hadoop“无法为您的平台加载本机 hadoop 库”警告

然而，在 hadoop 3.0.0 中，结构是这样的：

请问有什么想法吗？谢谢你。

目前out hadoop集群的版本是2.6.0-CDH5.10.0，我们要升级到3.0.0。

两个版本存在显着差异，如节点端口不一致等。

如何将 Hadoop 集群从 2.6.0 升级到 3.0.0？

mapred-site.xml 的内容：

虽然我已经设置了 yarn.app.mapreduce.am.env 和其他参数；我收到无法找到或加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 错误。我正在尝试远程运行 map reduce 程序，其中 hadoop 安装在 linux 机器上，我正在从 windows 机器上运行它。以下是我的工作配置设置。

请帮我。从过去 6 天开始，我一直被这个问题困扰。提前非常感谢。Hadoop版本：3.1.0

我正在从我的 windows 机器上运行在远程 linux 机器上设置的 hadoop 集群上的字数统计程序。程序运行成功，我得到了输出，但我得到了以下异常，我的 waitForCompletion(true) 没有返回 true。

我在 Eclipse 上运行的 MapReduce 程序（Windows）

另一个观察结果：我从 windows 机器到远程 linux 机器端口（54310 和 50001）的连接在一段时间后消失了。

• HDFS端口连接状态
• 纱线端口连接状态

我从过去 5 天开始就被困在这里。请帮我。提前致谢。

我正在尝试将 Hadoop 3.1.0 安装到两个虚拟机中：

第一台机器包含一个名称节点和一个数据节点，第二台机器包含一个数据节点。

我按照这篇文章在 Ubuntu 上安装 Hadoop 3.0.0 多节点集群。在我执行 start-dfs.sh 和 start-yarn.sh 命令之前，一切都很好。

当我Jps在名称节点上运行命令时，它显示以下结果：

当我在 Data 节点上运行它时，它显示：

但奇怪的是，当执行hdfs dfsadmin -report命令时，它只显示Live datanodes (1)哪个是本地数据节点。

我做了很多搜索；我没有发现任何有用的东西。

我试过了：

1. 执行stop-all.sh
2. 删除Namenode和datanode目录下的所有文件
3. 删除 temp 目录中的所有 hadoop 相关文件
4. 执行的hdfs namenode -format命令

这里有一个类似的问题：Hadoop UI 只显示一个数据节点，他们建议在其中更改主机名。在我的 Namenode/etc/hosts文件中包含以下几行：

在Datanode中/etc/hosts我有：

有什么建议么？

我正在尝试设置 Hadoop 3 集群。

关于擦除编码功能的两个问题：

1. 如何确保启用纠删码？
2. 我还需要将复制因子设置为 3 吗？

请注明与纠删码/复制相关的相关配置属性，以获得与 Hadoop 2 相同的数据安全性（复制因子 3），但具有 Hadoop 3 纠删码的磁盘空间优势（仅 50% 开销而不是 200%） .

我在 VMware 工作站上运行 Ubuntu 18，并按照以下说明进行操作：

https://www.digitalocean.com/community/tutorials/how-to-install-hadoop-in-stand-alone-mode-on-ubuntu-18-04

它可以工作，但我无法访问 localhost 端口 9870 上的 Web 界面。

它说：

无法连接

在火狐中。

我试图在我的导航器中连接到各种端口，如 5010，它不起作用。

Hadoop 似乎正在工作，我已经格式化了 HDFS。

请帮忙！

运行时出现异常

/usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-functions.sh：第398行：意外标记附近的语法错误<' /usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-functions.sh: line 398: 第 213 行：hadoop_validate_classname：找不到命令 /usr/local/Cellar/hadoop/3.1.0/libexec/bin/hdfs：第 214 行：hadoop_exit_with_usage：找不到命令/usr/local/Cellar/hadoop/3.1.0/libexec/ bin/../libexec/hadoop-config.sh：第 263 行：hadoop_add_client_opts：找不到命令 /usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-config.sh：行270：hadoop_subcommand_opts：找不到命令/usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-config.sh：第273行：hadoop_generic_java_subcmd_handler：找不到命令警告：HADOOP_SECURE_DN_USER已被替换HDFS_DATANODE_SECURE_USER。使用 HADOOP_SECURE_DN_USER 的值 找不到命令 /usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-config.sh：第 263 行：hadoop_add_client_opts：找不到命令 /usr/local/Cellar/hadoop/3.1。 0/libexec/bin/../libexec/hadoop-config.sh：第 270 行：hadoop_subcommand_opts：找不到命令 /usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-config .sh：第 273 行：hadoop_generic_java_subcmd_handler：找不到命令警告：HADOOP_SECURE_DN_USER 已被 HDFS_DATANODE_SECURE_USER 替换。使用 HADOOP_SECURE_DN_USER 的值 找不到命令 /usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-config.sh：第 263 行：hadoop_add_client_opts：找不到命令 /usr/local/Cellar/hadoop/3.1。 0/libexec/bin/../libexec/hadoop-config.sh：第 270 行：hadoop_subcommand_opts：找不到命令 /usr/local/Cellar/hadoop/3.1.0/libexec/bin/../libexec/hadoop-config .sh：第 273 行：hadoop_generic_java_subcmd_handler：找不到命令警告：HADOOP_SECURE_DN_USER 已被 HDFS_DATANODE_SECURE_USER 替换。使用 HADOOP_SECURE_DN_USER 的值 hadoop_generic_java_subcmd_handler：找不到命令警告：HADOOP_SECURE_DN_USER 已被 HDFS_DATANODE_SECURE_USER 替换。使用 HADOOP_SECURE_DN_USER 的值 hadoop_generic_java_subcmd_handler：找不到命令警告：HADOOP_SECURE_DN_USER 已被 HDFS_DATANODE_SECURE_USER 替换。使用 HADOOP_SECURE_DN_USER 的值

我阅读了关于时间线服务器 v.2 文档的 Hadoop 3，它说

最后，运行模式创建工具来创建必要的表：

bin/hadoop org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -create

TimelineSchemaCreator 工具支持一些可能会派上用场的选项，尤其是在您进行测试时。例如，您可以使用 -skipExistingTable（简称 -s）跳过现有表并继续创建其他表，而不是使架构创建失败。默认情况下，表的模式前缀为“prod.”。当未提供选项或“-help”（简称“-h”）时，将打印命令用法。并继续创建其他表，而不是使架构创建失败。当未提供选项或“-help”（简称“-h”）时，将打印命令用法。默认情况下，表的架构前缀为“prod”。</p>

但是我在任何有关时间线服务器的 jar 中都找不到有关 TimelineSchemaCreator 代码的包 org.apache.hadoop.yarn.server.timelineservice.storage 的代码，为什么？文件没有及时更新？

我正在尝试在本地计算机网络上设置一个 hadoop3 集群，以小规模启动一个主节点和两个工作节点。

我想我设法有一些应该工作的东西，按照本教程在多节点集群中配置 hadoop 3.1.0 我下载了 hadoop 版本 3.1.1

dfsadim 报告：

因此，在继续和调整资源管理之前，我尝试运行一个简单的测试，但它失败了。

这里是 pi 示例测试

我将添加要求的所有信息，但我不理解问题，如果它们不相关，我不想用所有配置文件淹没问题。

在 hdfs 系统文件中没有“/nm-local-dir/”。我不明白那条路从何而来。

每一个帮助都是热烈欢迎的。