问题标签 [hadoop3]

我使用LogAggregationFileController（https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/apidocs/org/apache/hadoop/yarn/logaggregation/filecontroller/ifile/LogAggregationIndexedFileController.html）的apache hadoop-3.2.2。
我考虑是否可以向 YARN 询问日志聚合状态？我的意思是类似的东西？
正在进行吗？完成了吗？背景是关于等待日志聚合完成并获取它们。流程如下：

1. 执行纱线应用程序。
2. 等待FINISHED状态
3. 等待日志聚合完成
4. 收集汇总日志
5. 解析收集的日志

我不知道是否有可能可靠地实现第 3 步。使用 hadoop 客户端库。有人知道吗？

我们正在使用 distcp -diff 基于两个快照对 hive 表进行增量备份。

但有时这个 distcp 会失败，错误是快照源目录中不存在特定文件。

当我们在两个快照之间做 Snapshodiff 时，它显示了一些文件被添加

但是当我们对快照文件夹中的这些文件执行“hdfs dfs -ls”时。它显示文件不存在。

我们怀疑

• 它与 Snapshotdiff 的问题。
• 或相关的 hive 压缩，因为我们只收到 hive delta/base 文件的错误。

在此处输入图像描述

在此处输入图像描述

我已经成功地在https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation中描述的伪分布式模式下启动了单节点，在Window的wsl2环境下。之后，我尝试使用 MacBookPro 重复它。但不知何故start-dfs.sh失败了。终端抛出错误：

好的。有答案说我应该通过系统属性启用 ssh 连接，但它已经设置好并且ssh localhost工作正常。

然后事情变得有价值；有时描述辅助名称节点失败为：

然后，当我离开 Mac 一段时间又一次 commandstart-dfs.sh时，它偶尔会成功。正如我所做的stop-dfs.sh和start-dfs.sh检查的那样，它失败了。

即使我可以成功start-dfs.sh，也会出现很多问题，例如无法启动数据节点或资源管理器或节点管理器等。我什至一次都无法运行 hadoop 环境。

感觉一切都混乱了，事情根本不稳定。尝试重新安装这个和那个已经好几次了。不幸的是，大多数启动失败甚至都没有记录在 /logs 文件夹中。

目前我正在使用：
macOS：Catalina 10.15.6
java：1.8.0_291
hadoop：3.3.1

我已经花了整整两天的时间来尝试。请帮忙！

Ubuntu 16.04.1 LTS
Hadoop 3.3.1

我尝试参考一个网络教程设置hadoop伪分布式模式。并按照以下步骤操作。
第 1 步：设置 Hadoop 1.将
以下代码添加到 /etc/profile.

2.在 $HADOOP_HOME/etc/hadoop/hadoop-env.sh，设置

核心站点.xml：

hdfs-site.xml：

纱线站点.xml：

mapred-site.xml：

第 2 步：验证 Hadoop
1.$ hdfs namenode -format
2。

3.start-yarn.sh
4.在本地机器上的Firefox中打开http://localhost:50070/。

无法连接
Firefox 无法与 localhost:50070 的服务器建立连接。
该站点可能暂时不可用或太忙。请稍后再试。
如果您无法加载任何页面，请检查您计算机的网络连接。
如果您的计算机或网络受到防火墙或代理的保护，请确保允许 Firefox 访问 Web。

5.在firefox中打开http://localhost:8088/，返回50070端口同样的错误。

当我运行 jps 命令时，它返回

hadoop 3.3.1
我正在学习Hadoop，并找到一个命令

<args> 的可能值是多少？

即使我创建 /home/hadoop/hadoop_input 文件夹，错误仍然存​​在。

Hadoop 3.3.1

我已经成功运行了一个程序

从打印的消息中，我得到了作业 ID：job_1625033931379_0001
我可以从“http://localhost:19888/jobhistory”的网页获取作业历史列表。

但是当我跑步时

返回错误：

2021-06-30 14:54:56,356 INFO client.DefaultNoHARMFailoverProxyProvider：在 >/0.0.0.0:8032 线程“main”中连接到 ResourceManager java.lang.IllegalArgumentException：JobId 字符串：/output_dir 在 org. apache.hadoop.mapreduce.JobID.forName(JobID.java:156) 在 org.apache.hadoop.mapreduce.tools.CLI.run(CLI.java:401) 在 org.apache.hadoop.util.ToolRunner.run( ToolRunner.java:76) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:90) 在 org.apache.hadoop.mapred.JobClient.main(JobClient.java:1277)

Hive 2.3.9
Ubuntu16.04.3-64bit

我已经开始使用hadoop：

并在 hdfs 中创建 /tmp/hive 文件夹，并授予 /tmp 的所有权限：

但是当我尝试启动配置单元时，它失败了：

有人可以帮忙吗？

Ubuntu 16.04.1 LTS
hadoop 3.3.1
Hive 2.3.9

我有一个java文件：

我把这个java文件放在ubuntu文件夹中，然后运行

我已经下载了 hive-jdbc-3.1.2.jar，我应该把这个 jar 放在哪里？

hadoop 3.3.1
Hive 2.3.9
hive-jdbc-2.3.9.jar

我已经开始蜂巢了。在 hive-site.xml 中：

HiveCreateDb.java 文件：

我已经编译并运行了java文件

2021-07-09T10:56:12,300 INFO [main] org.apache.hive.jdbc.Utils - 提供的权限：localhost:10000
2021-07-09T10:56:12,321 INFO [main] org.apache.hive.jdbc。实用程序 - 已解决权限：localhost:10000
2021-07-09T10:56:13,210 WARN [main] org.apache.hive.jdbc.HiveConnection - 无法连接到 localhost:10000
线程“main”中的异常 java.sql.SQLException：无法使用 JDBC Uri 打开客户端传输：jdbc:hive2://localhost:10000/default: java.net.ConnectException: Connection denied (Connection denied)
at org.apache.hive.jdbc.HiveConnection.(HiveConnection.java:224 )
在 org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:107)
在 java.sql.DriverManager.getConnection(DriverManager.java:664)
在 java.sql.DriverManager.getConnection(DriverManager.java:247)
在 com.clx.bigdata.hive.HiveCreateDb.main(HiveCreateDb.java:21)
引起：org.apache.thrift.transport.TTransportException: java.net .ConnectException：
在 org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:266)
的 org.apache.thrift.transport.TSocket.open(TSocket.java:226)的连接被拒绝（连接被拒绝）
。 apache.thrift.transport.TSaslClientTransport.open(TSaslClientTransport.java:37)
在 org.apache.hive.jdbc.HiveConnection.openTransport(HiveConnection.java:311)
在 org.apache.hive.jdbc.HiveConnection.(HiveConnection.java :196)
... 4 更多
原因：java.net.ConnectException：连接被拒绝（连接被拒绝）
在 java.net.PlainSocketImpl.socketConnect(Native Method)
在 java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:476)
在 java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:218)
在 java.net.AbstractPlainSocketImpl.connect (AbstractPlainSocketImpl.java:200)
在 java.net.SocksSocketImpl.connect(SocksSocketImpl.java:394)
在 java.net.Socket.connect(Socket.java:606)
在 org.apache.thrift.transport.TSocket.open( TSocket.java:221)
... 还有 8 个

我发现端口 10000 没有打开，当我检查时：
netstat -tln | grep 10000

有什么问题吗？