问题标签 [hive-udf]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
825 浏览

hive - Hive:Hive UDF 中 CREATE FUNCTION 和 CREATE TEMPORARY FUNCTION 之间的区别

我是 hive 的新手,我正在做一个项目,我需要为数据整理创建一些 UDF。在我的研究中,我遇到了两种从添加的 jar 中创建 UDF 的语法

我无法在上述两种方式中找到任何区别。有人可以向我解释或指导我使用正确的材料吗?

0 投票
1 回答
35 浏览

java - Hive UDF - 解析 IP 地址时非常慢

我有一列包含 IP 地址。现在我需要将它们解析为国家/城市: select IPUtils('199.999.999.999')它会返回['Aisa', 'Hongkong', 'xxx', 'Hongkong']

我编写了一个 hive udf 来执行此操作,但运行速度非常慢,如下所示:

INFO : 2021-09-08 18:51:10,817 Stage-2 map = 100%, reduce = 30%, Cumulative CPU 9074.06 sec

map = 100%而进度reduce 每15分钟增加1%

UDF从项目的资源文件夹中读取文件,所以它可能一遍又一遍地重复读取文件?udf 如下所示,感谢您的帮助:

0 投票
0 回答
38 浏览

java - 如何连接具有不同分隔符的配置单元列

嗨,我想为从 Hive 到 concat 的不同名称列使用两个不同的分隔符。例如

然后查询输出应该是

此处如果列名以“sc_”开头,则分隔符为平铺(~),否则分隔符为逗号(,)