问题标签 [hadoop3]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop-yarn - 什么是 Unmanaged Application Master 及其在纱线联合 hadoop 中的作用？
我没有得到太多关于 Unmanaged AM 工作的信息。我只知道它的基本定义，但仍然不确定他们的管理是如何完成的以及由谁完成的？
同样在 apache 文档中，提到了（作业执行流程中的第 8 点）-“基于策略，AMRMProxy 可以通过提交非托管 AM 并将 AM 心跳转发到相关子集群来模拟其他子集群上的 AM a. 联邦支持使用 AMRMProxy HA 进行多次应用程序尝试。AM 容器在主子集群中将具有不同的尝试 id，但将在辅助节点中使用相同的 Unmanaged AM。b. 启用 AMRMProxy HA 时，UAM 令牌将存储在 Yarn Registry 中。在每次应用程序尝试的 registerApplicationMaster 调用中，AMRMProxy 将从注册表（如果有）获取现有的 UAM 令牌并重新附加到现有的 UAM。
提前感谢您的详细解释。
hadoop - JPS 命令仅显示 JPS
我安装了hadoop并尝试运行它。终端显示一切都已启动，但是当我运行 jps 命令时，它只显示 jps。我是 ubuntu 的新手，我们需要用于学术，任何人都可以帮助我运行它。我使用我的 usr/lib/jvm 目录安装了 java，sudo apt-get install open-jdk
看起来像这样
以下是我的hadoop配置文件：
hadoop - 如何在 Hive 3 中启用 LLAP？
我在 Hadoop 3.1.1 上安装了 Hive 3.1.0（不使用 Ambari）。如何在 Hive 中启用 LLAP 功能。
hadoop - hadoop start namenode error root account is not found
当我运行时bin/hdfs namenode -format，我想运行sudo sbin/start-dfs.sh，但它会抛出一个错误root account is not found。
Starting namenodes on [localhost]
ERROR: Refusing to run as root: root account is not found. Aborting.
Starting datanodes
ERROR: Refusing to run as root: root account is not found. Aborting.
Starting secondary namenodes [bogon]
上一次登录：日 9月 23 14:57:26 CST 2018pts/0 上
bogon: ssh: connect to host bogon port 22: Connection timed out
apache-spark - 是否可以在 hadoop3 集群上运行 Spark (2.3) 作业，特别是 HDP 3.1 和 CDH6 (beta)
此外，CDH 6 处于 beta 阶段，他们是否支持 spark 2.3 没有任何花里胡哨的东西？是否可以在启用 hadoop 3 的 CDH 或 Hadoop 集群上运行相同的旧 spark 2.x 版本（特别是 2.3）？
我有兴趣了解 yarn 、 hdfs 和 mapreduce API 的向后兼容性变化。
有人在生产中使用它吗？
hadoop - Hadoop 3.1.1 启动 HDFS 服务的问题
我在 mac 上配置 Hadoop 3.1.1。但是，一旦我完成了所有步骤，我在启动 namenode、datanode 和辅助 namenode 时就被拒绝了权限。
还，
（无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置 java 类）
hadoop - 无法在 Cygwin（Windows 10）上的 Apache Hive 3.0.0 中初始化 HiveServer2 的架构
我已经有一个由 2 台机器组成的 Hadoop 3.0.0 集群：1 个名称节点 + RM 和 1 个数据节点。我尝试按照此文档安装 Apache Hive 3.0.0 。
当我schematool -dbType derby -initSchema --verbose在 Cygwin 上运行时，抛出了一个异常：
在查看引发异常的代码行时，我发现 Hive 试图找到位于%HIVE_HOME%\scripts\metastore\upgrade\derby\hive-schema-3.0.0.derby.sql.
我怀疑 Cygwin 搞砸了路径，以至于 Hive 没有找到那个模式。
我的问题：
- 如何更正路径（或解决问题）？
- 是否有与 Hive 2.1.1 目录中的
*.sh文件等效的批处理文件？%HIVE_HOME%\bin
hadoop - Hadoop：错误执行编译 WordCount
我已经安装了 Hadoop 3.1.1，它正在工作。但是，当我尝试编译 WordCount 示例时，我收到此错误：
为了编译，我使用了下一行：
我在 .bashrc 中有下一个变量：
这次我使用的是 Oracle 的 Java 8，因为 Ubuntu 18.08 LTS 的 apt-get 没有给我安装 OpenJDK8 的选项。我已经更新和升级了 Ubuntu。
我已经阅读了很多不同的帖子和可能的解决方案，但我无法解决它。
hadoop - Hortonworks HDP 3：启动 ResourceManager 时出错
我已经使用 ambari 2.7 安装了一个新的集群 HDP 3。
问题是资源管理器服务没有启动。
我收到以下错误：
hadoop - hadoop 3.1.1的纱线不能调度GPU资源
我已经安装了支持 GPU 资源的 Hadoop 3.1.1。而且我是按照官方文档配置的。但是，当我使用 800M+ 文件运行字数统计程序时，从未使用过 GPU 查找资源；同时，该程序使用内存和 vcores（CPU）运行良好。
满足官方文档中列出的所有先决条件：GPU 设备、CUDA、cgoup 等。当我运行 docker 但 Hadoop 3 时，GPU 运行良好。
以下是配置文件：
资源类型：
capacity-scheduler.xml，其他属性默认
纱线站点.xml
容器执行器.cfg
