问题标签 [hdp]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 在hadoop集群中每天限制清洁/ tmp是否正确
我们有 HDP 集群版本 – 2.6.4
集群安装在 redhat 机器版本 – 7.2
我们注意到 JournalNodes 机器(主机)上的以下问题
我们有 3 台 JournalNodes 机器,在 /tmp 文件夹下我们有数千个空文件夹
还有很多文件夹
内容为
/tmp 应根据配置文件每 10 天清除一次:
所以我们将保留时间减少到1d而不是10d以避免这个问题
然后确实/tmp 只有一天的文件夹内容
但我想问以下问题
可以将 Hadoop 集群中 /tmp 的保留时间配置为 1day 吗?
(我几乎肯定没问题,但想听听更多意见)
第二
为什么 HIVE 会生成数千个空文件夹作为 XXXX_resources ,
是否可以从 HIVE 服务解决它,而不是限制 /tmp 上的保留
css - 如何将 hdp 文件加载为背景图像
我将 jpg 文件转换为 hdp 文件以加快网站加载速度。我想通过背景属性加载这些文件。但是,hdp 文件不是从网站加载的。如何使用 hdp 文件?服务器是windows10/Apache2.4
{background:url(./image/file_name.hdp) no-repeat;background-size:cover;}
java - Datanode + VM初始化期间发生错误初始堆太小
我们重新启动集群上的 dastanodes
我们在 ambari 集群中有 15 台数据节点机器,而每台数据节点机器有 128G RAM
版本 - ( HDP - 2.6.4 和 ambari 版本 2.6.1 )
但datanode未能启动以下错误
这很奇怪,因为 dtnode_heapsize 是 8G(DataNode 最大 Java 堆大小 = 8G),从日志中我们也可以看到
所以我们不明白它是怎么回事
剂量 - 与DataNode 最大 Java 堆大小相关的初始堆 大小 ?
来自datanode机器的日志
另一个日志示例:
ambari - Splice Machine 主安装在 HDP 2.6.4 上产生错误
我正在尝试在 HDP 2.6.4 上使用 Ambari 安装 Splice Machine Master 服务 2.7。本文档https://github.com/splicemachine/spliceengine/blob/branch-2.7/platforms/hdp2.6.4/docs/HDP-installation.md中列出的所有先决条件都经过验证,并且 Active hBase Master 安装在同一节点上. 但是我在服务启动时出现以下错误:
TypeError:预期的字符串或缓冲区
为什么会发生?
apache-kafka - Zookeper 服务器上的连接太多
环境:HDP 2.6.4
安巴里 – 2.6.1
3 动物园管理员服务器
23.1.35.185 - 是第一个zookeeper服务器的IP
大家好,
在第一个 zookeeper 服务器中,似乎即使关闭与 zookeeper 的连接也没有关闭,
这会导致从主机达到最大客户端连接数 - 我们在 zookeeper 配置中将 maxClientCnxns 设置为 60
因此,当一个新应用程序出现并尝试创建连接时,它会失败。
连接时的示例:
但是一段时间后,当连接达到 ~70 时,我们看到
我们还可以看到很多 CLOSE_WAIT
来自 Zookeeper 日志
在 ambari 我们也可以看到
我必须说这在 zookeeper 服务器 2 和 3 上没有发生
注意 - 如果我们将maxClientCnxns增加到 300 ,这无济于事,因为一段时间后我们获得了更多的 300 个连接(CLOSE_WAIT),然后我们从日志中看到
所以任何提示为什么连接是 CLOSE_WAIT ?
ambari - 运行 ambari 服务的单个主机(当前机器)的 Ambari 服务器主机注册失败
Ambari 2.5.1.0 / centOS-7 -> Ambari 代理,Ambari 服务器与同一系统上的外部 postgres9.6 数据库一起运行。
现在,点击 Ambari url -> 登录 Ambari -> 创建集群 -> 提供集群名称 -> 下一个
选择 HDP-2.6.3.0 -> 选择“使用公共存储库” -> 选择 redhat7 OS -> 下一个
仅输入一个主机名 /当前 centOS-7 机器的 FQDN。
选择“在主机上执行手动注册并且不使用 SSH”
现在单击“注册并确认”按钮
结果:“状态 - 失败”并显示消息“在 1 个未能注册的主机上跳过主机检查。”
ssl - 是否在没有 LDAP 的情况下连接到 ssl
我的 LDAP 服务器是 SSL,如果我需要连接到 LDAPS 服务器。我是否需要在我的服务器中启用 SSL 才能从服务器获取结果。
示例:我正在尝试连接到 HDP2.x 中的 Apache Ranger。我需要在 Ranger 机器中启用 SSL 以获取结果还是只启用 LDAP 才能工作
apache-zookeeper - ambari如何使用zookeeper同步集群配置文件详细
ambari如何使用zookeeper详细同步集群配置文件?我无法搜索任何关于此的文档,是否有任何示例,我能得到的只是关于如何使用 zookeeper 在 HDFS 和 HBase 中实现 HA。谢谢
hdfs - 如何将hdfs权限还给超级组?
为了访问hdfs。我不知道在root用户中给出了以下命令。(我试图解决以下错误)
现在,当我尝试访问 hdfs 时,它说,
我能做些什么来解决这个问题。如果你能解释一下命令的作用,那就太好了'hdfs dfs -chown root:hdfs /user/root'
。
我正在使用 HDP 3.0.1.0 (Ambari)