问题标签 [apache-hive]

Hive 仅支持小数点后一位精度。我们可以改变hive中float的精度值吗？如果不是，我们可以覆盖 hive 浮动功能。

但是 hive float 不支持超过 1 的精度值。如何更改 float 的精度值？任何 Hive UDF 吗？我知道 hive 有十进制/双精度值。但是我们需要浮点数来支持更高的精度。

任何建议都会有很大帮助。

可以说我有一个数据库项目。我创建了一个名为 tab1 的表，然后创建了一个名为 tab2 的表。现在我删除了表 tab1。

我在哪里可以找到显示我已从数据库项目中删除表 tab1 的日志。我想知道丢弃这张桌子的时间、用户等？

编辑

我已在以下内容中检查了审核日志，但在以下任何内容中都找不到我要查找的内容：

1. Hive Metastore - TBLS、DBS、TRANSACTION 表
2. Hive 安装日志目录。
3. hive-site.xml 中提到的 Hive 查询日志路径 - 属性 - “hive.querylog.location”

审核日志将帮助我进行安全级别审核。

此链接Profling Hive CLI提供了有关如何使用 Java 任务控制分析 Hive CLI 的说明。步骤是

1. 创建一个目录来保存分析器输出：mkdir $HOME/profiles

2. 创建一个别名，以便更容易重复： alias debug='HADOOP_CLIENT_OPTS="-XX:+UnlockCommercialFeatures -XX:+FlightRecorder -XX:FlightRecorderOptions=defaultrecording=true,dumponexit=true,dumponexitpath=$HOME/profiles/"'

3. 运行一些 hadoop 客户端命令来分析例如，分析 Hive CLI 启动（以便使用 -e 'exit;'）以及 TRACE 输出： debug hive --hiveconf hive.root.logger=TRACE,console -e 'exit;' 2&>&1 | tee $HOME/profiles/hive_trace.out

4. 归档并收集步骤 1 中使用的目录 tar czvf profile_data.tgz $HOME/profiles

我的问题是

a) 在第 4 步之后，如何使用 java 任务控制来使用收集到的指标

b) 当我使用 2 和 3 中的配置设置启动 hive 时。为什么 Hive 在 java 任务控制台中不可见？

c) 有没有更好的方法来分析 Hive 的组件，例如 hive-exec、hive-metastore？

我正在尝试学习将 Python UDF 与 Hive 一起使用。

我在这里有一个非常基本的 python UDF：

然后我在 Hive 中添加文件：

现在我调用 Hive 查询：

这按预期工作，没有对字段进行任何更改，并且输出按原样打印。

现在，当我通过引入 split 函数来修改 UDF 时，我得到一个执行错误。我如何在这里调试？我做错了什么？

新的 UDF：

当我尝试重命名现有表中的所有分区列以进行一年的日期范围时 - 这就是我得到的。

hive> ALTER TABLE test.usage PARTITION ('date') RENAME TO PARTITION (partition_date);

FAILED: ValidationFailureSemanticException Partition spec {partition_date=null} contains non-partition columns.

我从这里得到了这个语法：1

最近我发现 Hive 中添加了行/列的屏蔽和过滤功能。https://issues.apache.org/jira/browse/HIVE-13125但是仍然没有关于它的文档。在我的研究中，我发现我们可以通过 Apache Ranger 使用此功能。是否可以使用 hive cli 或 beeline 手动配置和使用此功能？

Hive 中有一个名为 LLAP 的新功能。在调查过程中，我发现配置 LLAP 非常困难，因此有一个名为 Apache Slider 的组件将对其进行配置。如果没有 Slider，我仍然找不到任何手动配置的文档。https://cwiki.apache.org/confluence/display/Hive/LLAP

我正在尝试通过 Beeline 客户端添加本地文件，但是我一直遇到一个问题，它告诉我该文件不存在。

有什么问题？

我的 Hadoop 集群在 11:00 对每个数据进行批处理作业。

该作业创建配置单元表分区（例如p_date = 201702，p_domain = 0）并将rdbms数据导入配置单元表分区，如ETL ....（配置单元表不是外部表）

但是作业失败了，我删除了一些 hdfs 文件（分区位置 => p_date=20170228,p_domain=0）以进行重新处理。

这是我的错误，我只是在直线处输入查询删除分区...

当我以这种方式查询“select * from table_name where p_date=20170228,p_domain=0”时，我联系了一个挂起，但是“select * from table_name where p_date=20170228,p_domain=6”是成功的。

我找不到错误日志并且没有出现控制台消息

我怎么解决这个问题？

我希望你能理解我缺乏英语。

我需要从 hive 结构的所有列中选择 *。

Hive 创建表脚本在下面

创建表脚本

select * from table 将每个结构显示为列 select * from table

我的要求是将结构集合的所有字段显示为配置单元中的列。

用户不必单独编写列名。有没有人有UDF来做到这一点？