问题标签 [hadoop3]

我正在尝试运行 mapreduce 作业，但 Hadoop-3.1.3 出现错误

错误

更新（来自评论）：

core-site.xml

hdfs-site.xml

输出jps：

datanode错误日志：

我在命令提示符下尝试了这个命令（以管理员身份运行）：

但我收到此错误消息：我的应用程序已停止。

我在 ec2 上有单节点 hadoop 集群。试图在 slaves 文件中给出所有可能的组合。

我试图将 datanode 绑定到外部 ip ，但它没有绑定，默认情况下它绑定在机器的内部 ip 上。

也用作dfs.client.use.datanode.hostnametrue，客户端仍然接收内部 ip 而不是外部。

启动 sqoop(1.4.7,Hadoop-3.1.3) 时，我的 Ubutnttu(18.0.4) 机器出现错误

使用的命令： sqoop import --connect jdbc:mysql://localhost/myhadoop --username hiveuser --password xxxx --table employee --split-by --target-dir /employee2

错误：

请指教

我正在尝试在多节点集群（2 个节点）中运行 Hadoop（HDFS 和 YARN），但资源管理器无法在从节点上启动。基本上，由于以下异常而失败 - 无法找到名为的类javax.activation.DataSource（Java 8 中存在）。

我试过的版本：Hadoop 3.1.3/Java 1.8.0_u251 和 1.8.0_u152 Hadoop 3.2.1/Java 1.8.0_u251

以上所有组合都给出相同的错误。

此外，令人惊讶的是，资源管理器在主节点上运行良好（与从节点具有相同的 Hadoop 和 Java 版本）。

请帮忙。谢谢。

注意 - HDFS 运行良好。只有 YARN 有问题。

更新：还有其他 StackOverflow 问题讨论了相同的异常，但它们在 Java 9 或更高版本上运行。Java 8 不应该有这个问题。

我正在尝试stocks使用 sqoop（v1.4.7）在 Ubuntu 18.0.4 和 Hadoop 3 中使用以下命令将 mysql 表导入我的配置单元（v3.1.2）

但是在 hive 数据库中还没有创建表stocks d1。请指教。日志：

我正在尝试从源代码构建 hadoop，如本文所述。构建 Apache common 时，一切都失败并显示以下错误消息：command line too long.

所以，这是我尝试过的（我会在尝试更多时更新）：

1. 正如在这个 Stackoverflow 答案中所说，克服这个错误的方法是尽可能缩短路径。因此，我将存储库文件从C:\user_name\.m2\repository\另一个目录剪切并创建了一个空驱动器，并将其指向我已将文件移动到的这个新目录，就像这样 subst M: D:\maven-2.0.8\repository，并将<localRepository>M:</localRepository>“settings.xml”中的标记从C:\apache-maven-2.0.8\conf指向M:. 完成所有这些之后，我重新启动系统并尝试再次构建 hadoop。但是，正如我从错误中看到的那样，maven 仍然将包下载到C:\Users\user_name\.m2\repository\，而不是M:并且错误的command line too long错误仍然存​​在。
2. 为了尽可能缩短路径，我在其中创建了一个目录，C:\mrepo并将该目录符号链接到C:\user_name\.m2\repository\如下所示：mklink /J C:\mrepo C:\Users\.m2\repository. 完成所有这些之后，我重新启动系统并尝试再次构建 hadoop。但是，正如我从错误中看到的那样，maven 仍然将包下载到C:\Users\user_name\.m2\repository\，而不是M:并且错误的command line too long错误仍然存​​在。

编辑1：

3. 我还设置了一个名为M2_HOMEvalue的环境变量M:\。并在我的 \conf\settings.xml: 中进行了更改<localRepository>${M2_HOME}</localRepository>。问题仍然存在。

如何解决此问题并成功构建 hadoop？

在安装 Hadoop 时，我遇到了很多错误，但这个错误并没有发生。无论我做什么，它都会一次又一次地弹出。一旦我通过命令启动 Hadoop ./start-all.sh，我就会收到错误消息：

本地主机：rajneeshsahai@localhost：权限被拒绝（公钥，密码，键盘交互）

错误日志：

我已经尝试过以下事情：

1. ssh-keygen -t rsa

   cat ~/.ssh/id-rsa.pub >> ~/.ssh/authorized_keys

   chmod 600 ~/.ssh/authorized_keys

   我认为重复这个过程会在我的系统中创建多个密钥。

2. sudo passwd

3. 已配置/etc/ssh/sshd_config

   (一)PermitRootLogin prohibit-password改为PermitRootLogin yes

   (ii)PasswordAuthentication no改为PasswordAuthentication yes

   我确实有一个疑问：我是否必须#从行中删除井号 ( )？

我正在使用 macOS Catalina。

我正在尝试在 Windows WSL 上的 Ubuntu 20 上安装一个简单的 hadoop 设置。我能够让 NameNode 和 Yarn 运行，但 Datanodes 失败了

尝试启动-dfs.sh 时出现以下错误

仅启动名称节点。

我认为问题出在文档的这一部分-> https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SecureMode.html#Secure_DataNode

但没有说如何禁用它。我还尝试将端口更改为非特权端口，但它错误地说它的端口无效。

有什么线索吗？

我们使用 spark 2.4.0 连接到 Hadoop 2.7 集群并从 Hive Metastore 2.3 版本进行查询。但是集群管理团队决定升级到 Hadoop 3.x 和 Hive 3.x。我们还不能迁移到与 Hadoop 3 和 Hive 3 兼容的 spark 3，因为我们无法测试是否有任何问题。

有没有办法坚持使用 spark 2.4.x 版本并且仍然能够使用 Hadoop 3 和 Hive 3？

我知道向后移植是一种选择，如果您能指出我的方向，那就太好了。