问题标签 [hadoop3]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 在配置单元配置上应用授权策略时出错：无法创建目录 ${system:java.io.tmpdir}\${hive.session.id}_resources
我Hadoop 3.0.0-alpha1在 Windows 上运行并添加Hive 2.1.1到它。当我尝试使用hive命令打开蜂巢直线时，出现错误：
怎么了？
我mysql作为 Hive 的元存储运行并在 HDFS 中添加了所需的文件：
之后我更改了权限：
YARN并且DFS守护程序正在运行mysql，mysql jdbc-driver 对 hadoop 和 hive 都是已知的。
hadoop - Hadoop MapReduce 无法连接到 ResourceManager
我正在尝试使用单节点集群（伪分布式）设置 Hadoop，并使用apache 指南来执行此操作。现在我正在尝试运行 MapReduce 作业并使用它提供的示例bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha3.jar grep input output 'dfs[a-z]+'
在线查找此问题，其他所有遇到此问题的人似乎都使用 YARN 而不是 MapReduce。我的 hdfs-site.xml 和指南中提到的一样：
我跑了，jps虽然我不知道我在这里寻找什么：
任何帮助表示赞赏。
编辑：我调查hadoop-hadoop-resourcemanager-hadoop.log并发现了这个：
Edit2：如果有帮助，这是我的 yarn-site.xml：
java - Hadoop 启动 ResourceManager 和 NodeManager 时出错
我正在尝试使用单节点集群（伪分布式）设置 Hadoop3-alpha3 并使用apache 指南来执行此操作。我尝试运行示例 MapReduce 作业，但每次连接都被拒绝。运行后，sbin/start-all.sh我在 ResourceManager 日志中看到了这些异常（同样在 NodeManager 日志中）：
然后在文件中：
供参考我的 core-site.xml：
hdfs-site.xml：
mapred-site.xml：
和纱线-site.xml：
我不知道是什么导致了这些异常，对它们的任何帮助都会有所帮助。
编辑：添加 hadoop-env.sh：
azure - 复制方案如何在 hadoop3.x 中工作？
根据我对 Hadoop-3.x 的理解，他们引入了对 Microsoft Azure Data Lake 文件系统的支持，并更改了复制方案。这些只是主要功能吗，他们作为 hadoop-3.x 的一部分引入的任何其他新功能吗？
以及复制方案如何在 Hadoop-3.x中工作
hadoop - hadoop3 中如何使用纠删码以及它们如何实现容错？
根据 Hadoop 3.x 发行说明，他们引入了擦除编码来克服存储问题。
擦除编码是 HDFS 中的一项新功能，与复制相比，它可以将存储开销减少大约 50%，同时保持相同的持久性保证。
有人可以向我解释一下擦除编码是如何以容错方式使用的，而且空间开销更少吗？
hadoop - 无法识别的 Hadoop 主要版本号：org.apache.hadoop.hive.shims.ShimLoader.getMajorVersion 上的 3.0.0-beta1
我正在为安装在 Windows 10 环境中的 hadoop 3.0 beta1 使用 Windows 本机库。HDFS 和 Yarn 成功启动。安装 Hive 2.2 与安装了 derby db 的相同 Windows 本机库。但在运行 hive 服务器时失败。
以下是运行 Hive 时收到的错误。Hive 与 hadoop 3.0 beta 1 是否有任何版本兼容性，这将解决以下错误。
hadoop - 3.0.0 中没有 mapred-site.xml.template 文件
我正在使用 Oracle virtual box 5.1 和 ubuntu 在我的 Windows 笔记本电脑上安装一个伪分布式节点 Hadoop 集群。我已经从镜像站点下载了 3.0.0 版本。我试图mapred-site.xml通过键入命令来创建文件
mapred-site.xml.template文件不在目录中/usr/share/hadoop/etc/hadoop
mapred-site.xml.template 文件是否未包含在此版本中？
我已经搜索了 StackOverflow 并没有成功，并且在谷歌上搜索了这个问题。
hadoop - HDFS_NAMENODE_USER、HDFS_DATANODE_USER 和 HDFS_SECONDARYNAMENODE_USER 未定义
我是hadoop的新手。
我正在尝试以伪分布式模式在我的笔记本电脑中安装 hadoop。
我正在使用 root 用户运行它，但出现以下错误。
另外，我必须在 root 用户中运行 hadoop，因为 hadoop 无法与其他用户访问 ssh 服务。
如何解决相同的问题？
hadoop - hadoop 3.0 / yarn 的 GPU 资源
我尝试将 Hadoop 3.0 GA 版本与 gpu 一起使用，但是当我执行以下 shell 命令时，出现错误并且无法使用 gpu。请检查以下内容，让您知道 shell 命令。我想我的配置有误。
然后是我对 YARN-7223 票证执行的 shell 命令，
提前致谢。
hadoop - Hadoop：start-dfs.sh 连接被拒绝
我在 debian/stretch64 上有一个 vagrant box 我尝试使用文档 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.htm安装 Hadoop3
当我运行 start-dfs.sh 我有这个消息
当然，我尝试使用以下命令更新我的 hadoop-env.sh：export HADOOP_SSH_OPTS="-p 22"
ssh localhost 工作（无密码）
我不知道我可以改变什么来解决这个问题