问题标签 [hdp]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
296 浏览

hadoop - 在hadoop集群中每天限制清洁/ tmp是否正确

我们有 HDP 集群版本 – 2.6.4

集群安装在 redhat 机器版本 – 7.2

我们注意到 JournalNodes 机器(主机)上的以下问题

我们有 3 台 JournalNodes 机器,在 /tmp 文件夹下我们有数千个空文件夹

还有很多文件夹

内容为

/tmp 应根据配置文件每 10 天清除一次:

所以我们将保留时间减少到1d而不是10d以避免这个问题

然后确实/tmp 只有一天的文件夹内容

但我想问以下问题

可以将 Hadoop 集群中 /tmp 的保留时间配置为 1day 吗?

(我几乎肯定没问题,但想听听更多意见)

第二

为什么 HIVE 会生成数千个空文件夹作为 XXXX_resources ,

是否可以从 HIVE 服务解决它,而不是限制 /tmp 上的保留

0 投票
1 回答
35 浏览

css - 如何将 hdp 文件加载为背景图像

我将 jpg 文件转换为 hdp 文件以加快网站加载速度。我想通过背景属性加载这些文件。但是,hdp 文件不是从网站加载的。如何使用 hdp 文件?服务器是windows10/Apache2.4

{background:url(./image/file_name.hdp) no-repeat;background-size:cover;}

0 投票
1 回答
3162 浏览

docker - 在 Docker (Windows 10) 上启动 HDP 沙盒代理时端口上的权限被拒绝

尝试在 docker 上启动 sandbox-proxy (proxy-deploy.sh) 时出现以下错误。尝试使用 netstat -a -n 重新安装、重新启动、检查现有正在使用的端口。没有任何帮助。

失败的详细快照

在此处输入图像描述

Docker 记录按要求尝试

在此处输入图像描述

在此处输入图像描述

0 投票
1 回答
1671 浏览

java - Datanode + VM初始化期间发生错误初始堆太小

我们重新启动集群上的 dastanodes

我们在 ambari 集群中有 15 台数据节点机器,而每台数据节点机器有 128G RAM

版本 - ( HDP - 2.6.4 和 ambari 版本 2.6.1 )

但datanode未能启动以下错误

这很奇怪,因为 dtnode_heapsize 是 8G(DataNode 最大 Java 堆大小 = 8G),从日志中我们也可以看到

所以我们不明白它是怎么回事

剂量 - 与DataNode 最大 Java 堆大小相关的初始堆 大小 ?

来自datanode机器的日志

另一个日志示例:

0 投票
1 回答
42 浏览

ambari - Splice Machine 主安装在 HDP 2.6.4 上产生错误

我正在尝试在 HDP 2.6.4 上使用 Ambari 安装 Splice Machine Master 服务 2.7。本文档https://github.com/splicemachine/spliceengine/blob/branch-2.7/platforms/hdp2.6.4/docs/HDP-installation.md中列出的所有先决条件都经过验证,并且 Active hBase Master 安装在同一节点上. 但是我在服务启动时出现以下错误:

TypeError:预期的字符串或缓冲区

为什么会发生?

0 投票
1 回答
1364 浏览

apache-kafka - Zookeper 服务器上的连接太多

环境:HDP 2.6.4

安巴里 – 2.6.1

3 动物园管理员服务器

23.1.35.185 - 是第一个zookeeper服务器的IP

大家好,

在第一个 zookeeper 服务器中,似乎即使关闭与 zookeeper 的连接也没有关闭,

这会导致从主机达到最大客户端连接数 - 我们在 zookeeper 配置中将 maxClientCnxns 设置为 60

因此,当一个新应用程序出现并尝试创建连接时,它会失败。

连接时的示例:

但是一段时间后,当连接达到 ~70 时,我们看到

我们还可以看到很多 CLOSE_WAIT

来自 Zookeeper 日志

在 ambari 我们也可以看到

我必须说这在 zookeeper 服务器 2 和 3 上没有发生

注意 - 如果我们将maxClientCnxns增加到 300 ,这无济于事,因为一段时间后我们获得了更多的 300 个连接(CLOSE_WAIT),然后我们从日志中看到

所以任何提示为什么连接是 CLOSE_WAIT ?

0 投票
1 回答
456 浏览

ambari - 运行 ambari 服务的单个主机(当前机器)的 Ambari 服务器主机注册失败

Ambari 2.5.1.0 / centOS-7 -> Ambari 代理,Ambari 服务器与同一系统上的外部 postgres9.6 数据库一起运行。

现在,点击 Ambari url -> 登录 Ambari -> 创建集群 -> 提供集群名称 -> 下一个
选择 HDP-2.6.3.0 -> 选择“使用公共存储库” -> 选择 redhat7 OS -> 下一个
仅输入一个主机名 /当前 centOS-7 机器的 FQDN。
选择“在主机上执行手动注册并且不使用 SSH”
现在单击“注册并确认”按钮

结果:“状态 - 失败”并显示消息“在 1 个未能注册的主机上跳过主机检查。”

0 投票
1 回答
66 浏览

ssl - 是否在没有 LDAP 的情况下连接到 ssl

我的 LDAP 服务器是 SSL,如果我需要连接到 LDAPS 服务器。我是否需要在我的服务器中启用 SSL 才能从服务器获取结果。

示例:我正在尝试连接到 HDP2.x 中的 Apache Ranger。我需要在 Ranger 机器中启用 SSL 以获取结果还是只启用 LDAP 才能工作

0 投票
1 回答
31 浏览

apache-zookeeper - ambari如何使用zookeeper同步集群配置文件详细

ambari如何使用zookeeper详细同步集群配置文件?我无法搜索任何关于此的文档,是否有任何示例,我能得到的只是关于如何使用 zookeeper 在 HDFS 和 HBase 中实现 HA。谢谢

0 投票
1 回答
613 浏览

hdfs - 如何将hdfs权限还给超级组?

为了访问hdfs。我不知道在root用户中给出了以下命令。(我试图解决以下错误

现在,当我尝试访问 hdfs 时,它说,

我能做些什么来解决这个问题。如果你能解释一下命令的作用,那就太好了'hdfs dfs -chown root:hdfs /user/root'

我正在使用 HDP 3.0.1.0 (Ambari)