问题标签 [hadoop3]

我正在尝试在我的 Ubuntu 18.04 环境中以伪分布式模式安装 Hadoop v3.1.3。

逐字阅读文档后，我的 Web 界面仍然无法正常工作，即 localhost:9870 没有产生任何结果。日志文件正在logs目录中创建，但它们是空的。

执行 start-all.sh 并运行jps后，输出：

14784 DataNode
15689 Jps
14619 NameNode
15228 ResourceManager 15390
NodeManager
15007 SecondaryNameNode

localhost:8088 工作正常，但名称节点、辅助节点等没有其他端口。

以下是配置文件：

等/hadoop/core-site.xml：

等/hadoop/hdfs-site.xml：

我阅读了关于磁盘平衡器的Hadoop ver 3文档，它说

“Diskbalancer 是一个命令行工具，可以将数据均匀地分布在数据节点的所有磁盘上。
这个工具不同于Balancer，它负责集群范围内的数据平衡。”

我真的不知道“平衡器”和“磁盘平衡器”之间有什么区别。
你能解释一下它是什么吗？
谢谢！

我是 Hadoop 新手，正在尝试运行第一个简单的“字数统计”示例。我遇到了这里报告的相同问题（但那里的响应没有解决问题）： Could not run jar file in hadoop3.1.3

Java 安装到 c:\jdk-15，并在 hadoop-env.cmd 文件中正确配置，如下所示：

正如您从下面的完整命令提示转储中看到的那样，我收到以下错误。如果有人能猜出这里可能出了什么问题，或者有任何其他建议，我将不胜感激。

“启动容器”[2020-09-30 15:17:56.848]容器以非零退出代码 1 退出。stderr 的最后 4096 个字节：'"C:\jdk-15"' 未被识别为内部或外部命令、可运行程序或批处理文件。

我已经在 Virtualbox 上的 Ubuntu 20.04 中安装了 Hadoop 3.2.1，用于我的大学学习和大学的最后期限，所以我是 Hadoop 的新手。而且我在互联网上搜索了几个资源如何在 Hadoop 上进行 mapreduce。

但是，当我在终端上键入时：

格式：

该命令如下所示：

它让我无法做到 hadoop dfs -cat <HDFS_OUTPUT_DIRECTORY>*

这是我的 hadoop 配置文件，我已更改如下：

核心站点.xml

hdfs-site.xml

mapred-site.xml

纱线站点.xml

然后是 hadoop-env.sh

谁能解释为什么这是错误并给我解决方案我应该怎么做才能做hadoop jar？

我的操作系统是 Windows 10 64 位，我使用 Anaconda 3.8 64 位。我尝试使用 PyArrow 模块开发 Hadoop File System 3.3 客户端。在 Windows 10 上使用 conda 安装 PyArrow 是成功的。

但是 hdfs 3.3 与 pyarrow 的连接会引发如下错误，

错误是

我在 Windows 10 上安装了 Visual C++ 2015。但仍然显示相同的错误。

在 Mac 系统上新安装 Hadoop 3.3 版本并尝试一个简单的独立系统。并试图启动所有服务，但我看到系统没有日志。

核心站点.xml

hdfs-site.xml

尝试使用 Java 1.8 和 Java 11，start-all.sh 的输出保持不变。

下午好，我在尝试访问 http://:7070 时遇到问题。我安装了以下程序： apa​​che-hive-3.1.2-bin 、 kylin-3.1.1-bin-hadoop3 、 kafka_2.12-2.5.0 、 hadoop-3.3.0 和 hbase-2.3.4 我倾向于认为它与连接到 HBase 时的一些问题有关，因为每当我运行一个列表时，它都会给我以下错误：

当我在 HBase 的日志中搜索时，我得到以下结果：

如果有人能阐明这个问题，我将不胜感激。对于我在问这个问题时所犯的任何错误，我深表歉意，因为我是一个真正的初学者。

I was wondering if any Mahout version has been confirmed to work properly with any version of Hadoop 3.x. It looks like both Cloudera's and Amazon's Hadoop distribution removed Mahout when they went from Hadoop 2 to Hadoop 3. But I cannot find any reason for omitting Mahout.

Does anyone have a source or personal experience that indicates that Mahout can work with Hadoop 3?

我有一个非常奇怪的依赖错误：

我有这个简单的 scala 代码：

使用这个简单的 sbt 文件：

现在，当我尝试编写镶木地板时，它抱怨缺少类或方法，如 org/apache/hadoop/tracing/SpanReceiverHost（最后是完整的堆栈跟踪）

我尝试使用 2.7.3 版本的 hadoop-common 和 aws 但随后 S3 抱怨 400-bad 请求（与以前相同的代码，只是更改了 sbt 中的 common 和 aws 版本）

有人知道 wtf 正在使用 hadoop-common 和 hadoop-aws 吗？

全栈：

PS：我的hadoop配置没有问题，我可以读写

在查看了所有解决方案之后，我问了这个问题。我一直在尝试从数据框创建视图。我能够连接数据框，但无法在此之上创建视图。我无法使用最新版本的 Intellij 连接到本地元存储。我正在使用 Hadoop 3.0.0。下面是我的 POM。

我的 Spark 配置如下所示。

下面是读取数据框和创建视图的代码。

请在下面找到日志。

任何帮助表示赞赏。