问题标签 [apache-hive]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 执行 hive 查询时,无法在大表上生成应用程序
我在蜂巢中有一个问题。
执行hive查询时,无法生成大表应用
纱线监控网页上不会出现应用程序。直线仍然准备就绪
但小尺寸表工作正常。
我什至不知道为什么无法注册应用程序。
据我所知,在配置单元中命令查询,应用程序已注册。(即使资源不足)
表大小为 3.3TB(拼花格式)
我的集群环境是这样的
Hadoop版本:CDH5.8(hadoop 2.6)
蜂巢:1.1
节点编号:17 个数据节点
内存总量:1.6TB
核心总数:136
hive 执行引擎:我测试了 mr 和 spark。但同样的结果。
hadoop - Hive 命令给出错误
我已经下载了必要的 jar 文件。我还更改了.bashrc
配置并在hadoop-env.sh
. 它仍然给出以下错误:
hadoop - 在 HDP 2.6 中的 Ambari 中启动 Hive 时出现异常
错误信息:Caught an exception while executing custom service command: <type 'exceptions.OSError'>: [Errno 13] Permission denied: '/var/lib/ambari-agent/cred/conf/hive/hive-site.jceks'; [Errno 13] Permission denied: '/var/lib/ambari-agent/cred/conf/hive/hive-site.jceks'
该文件存在并将其设置为 777 并不能解决问题。
启动失败的服务是“MySQL Server”。我可以在命令行上启动和重新启动 msqld。
hadoop - Hive 日期格式匹配
我如何在配置单元查询中匹配特定的日期格式,因为我必须让那些日期格式不是最大行数的行。
例如。我的最大行数的日期格式为 MM/dd/yyyy,我必须列出上述格式以外的所有行
我想获得 * 标记的数据(日期 = 19 年 2 月 12 日)
hadoop - HDFS 数据大小和 Hive 数据大小的差异
我在 Hive 有一张桌子。
当我运行命令show tblproperties myTableName
时,它给出以下结果:
这意味着rawDataSize is 934.92 MB and totalSize is 936.61 MB
当我运行命令来计算同一张表的 HDFS 表位置的数据大小时。
结果数据大小为893.2 MB
我看到同一张表的数据大小有很大差异。我试图理解为什么同一张表的数据大小会有所不同,并寻找详细的解释。
表类型 - MANAGED_TABLE
# 存储信息