问题标签 [hive-udf]

我尝试创建一个配置单元 UDF，它返回多个结果。经度和纬度是 UDF 的参数。

当我运行该函数时，出现“FAILED: RuntimeException Internal error: Cannot find ObjectInspector for UNKNOWN”错误。

代码：

我需要从 hive 结构的所有列中选择 *。

Hive 创建表脚本在下面

创建表脚本

select * from table 将每个结构显示为列 select * from table

我的要求是将结构集合的所有字段显示为配置单元中的列。

用户不必单独编写列名。有没有人有UDF来做到这一点？

我正在尝试编写一个 Hive UDF，它检查 Hive 表中的列并将字符串与它连接起来。我的 Hive 表 cityTab 架构和数据：

我写了以下 Hive UDF：

我添加了 jar，创建了一个临时函数并执行如下：

但我看到输出数据没有任何新字符串的连接：

谁能告诉我我在这里犯了什么错误。

我有一个执行 GeoIP 查找的配置单元 UDF。

然后我用这个做了一个罐子，在 hive Cli 中运行了以下内容

我将 GeoIP2-Enterprise.mmdb 数据库的位置传递给 udf。它在我的本地系统上运行良好。但是当我用它制作 jar 并在 cli 中运行它时，它给了我一个错误说

我还尝试将参数从 Text 更改为 String，这给了我同样的异常。有人可以告诉我我做错了什么吗？谢谢

编辑：添加以下部分

我在 hive 调试模式下运行它并得到了这个

我怎么能在 hive-udf 中取多行？我需要函数内的一整列name，以便可以将其添加到 UDF 内的 ArrayList 中。以下是列名：

我想获取 UDF 内列中的所有名称。

我读过使用 Hive JDBC 存储处理程序（https://github.com/qubole/Hive-JDBC-Storage-Handler），可以在不同的数据库（MySQL、Oracle、DB2）上创建 Hive 中的外部表，用户可以使用此处理程序使用 Hive 读取和写入 JDBC 数据库。我的问题在更新中。如果我们使用支持 Hive 更新/删除的 hive.14 并使用存储处理程序将外部表指向 JDBC 数据库表，那么当我们从 Hive 端触发更新查询时，它是否允许我们更新数据库表？

我正在使用这个 Python UDF 脚本：

在 Putty 中执行以下命令时。

我收到此错误：

原因：org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"number": "ABC00548","shortdescription":""India Optimizer 中的主数据不一致检查。"}

失败：执行错误，从 org.apache.hadoop.hive.ql.exec.mr.MapRedTask 返回代码 2 已启动 MapReduce 作业：Stage-Stage-1：映射：4 HDFS 读取：0 HDFS 写入：0 FAIL MapReduce CPU 总时间花费：0 毫秒

我正在尝试编写一个连接到 hbase 表的配置单元 udf。但是，由于安全异常，程序无法访问并抛出以下错误：

javax.security.auth.login.LoginException：无法从用户处获取密码

下面是我正在尝试的代码...

有人可以分享您的想法并帮助我解决问题....

我有一个扩展 GenericUDF 的 HiveUDF，当我通过 spark.sql 调用 udf 时，我得到了正确的结果，但初始化的方法被多次调用。

无法理解为什么会这样？

我需要在 HiveSQL 的 GROUP BY 中合并数组。表架构是这样的：

现在这是我要运行的 SQL：

如果这个 array_merge 函数只保留唯一值，那会更好，但不是必须的。

干杯，K