问题标签 [udf]

是否有任何理由不在 Pig 0.15 中使用 Hive UDF？

我主要考虑性能，但如果有任何其他原因，我很乐意听到它们。

例如，我们有一个我们使用的 lpad 的简单 Java 实现。我们应该费心保留它，还是可以使用 Hive 版本？

调用用户定义函数时，如果没有明确提及数据库，会考虑哪个数据库？是否有任何控制设置指定首先引用哪个数据库？

我想知道是否有一种方法可以设置元组中任意数量项目的数据类型。例如，如果我使用 $(1..) 创建一个字段并且我知道所有项目都是整数，我可以设置它吗？就像是：

我将此元组传递给 UDF，并希望节省解析 DataByteArray 并将其转换为 Int 的时间。

HiveQL（以及一般的 SQL）中的常见查询构建模式是选择所有列 ( SELECT *) 或显式指定的一组列 ( SELECT A, B, C)。SQL 没有用于选择除指定列集之外的所有列的内置机制。

有多种机制可以排除此 SO 问题中概述的某些列，但没有一个自然适用于 HiveQL。（例如，用其中的一些列创建一个临时表的想法SELECT *会ALTER TABLE DROP在大数据环境中造成严重破坏。）

忽略关于选择除某些列之外的所有列是否是一个好主意的意识形态讨论，这个问题是关于使用此功能扩展 Hive 的可能方法。

在 Hive 0.13.0 之前，SELECT 可以采用基于正则表达式的列，例如，property_.*在反引号字符串中。@invoketheshell 下面的回答提到了这个功能，但它是有代价的，也就是说，当这个功能打开时，Hive 不能接受其中包含非标准字符的列，例如，$foo或x/y。这就是 Hive 开发人员在 0.13.0 中默认关闭此行为的原因。我正在寻找适用于任何列名的通用解决方案。

生成表的通用 UDF ( UDTF ) 当然可以这样做，因为它可以操作模式。由于我们不打算生成新行，有没有办法使用简单的基于行的 UDF 来解决这个问题？

这似乎是一个常见的问题，网络上的许多帖子展示了如何为各种数据库解决它，但我还没有找到 Hive 的解决方案。有没有代码可以做到这一点？

我有一个用例，我需要在一个月的日期中返回上个月的最后日期。

我将使用上个月的最后一个日期来过滤每日分区（在猪脚本中）。

我创建了一个 UDF(GetPrevMonth)，它获取日期并返回上个月的最后一个日期。但无法在过滤器上使用它。

我的 udf 将元组作为输入。谷歌搜索它说UDF不能应用于过滤器。有什么解决方法吗？还是我在某个地方出错了？

需要帮助。在此先感谢。

我正在尝试将以下 UDF 函数从 Delphi 重写为 C，但我不知道应该使用哪种参数类型而不是 PISC_QUAD 以及如何从参数值中提取月份数。

我有一大袋包含常量但未知数量的整数（超过 200 个）的元组。有没有办法从这个元组中求和相应的元素？

例如SUM_TUPLES({(1, 0, 1), (2, 1, 0)})应该返回(3, 1, 1)。

我用 Python 编写了我的 UDF，但由于包和元组真的很大，我得到了GC limit exceeded error.

我正在使用一个基本上是简化的 vlookup 的 UDF。这是代码：

我注意到有时在复制工作表时（在同一个工作簿中），我会收到一个#VALUE错误。如果我在 Excel 中“编辑”单元格，不做任何更改，只使用F2and Enter，错误就会消失。它曾经在简单地更改窗口时发生（例如，切换到 Firefox，然后再切换回 Excel）。这就是为什么我在代码中使用Caller了Parent这么多。它几乎完全固定，除了有时复印纸张时。我似乎无法找到错误的根源。请帮忙。

我正在尝试执行此查询：

我能够使用 udf 成功生成 hash_code，但另一列（col2）被填充为NULL.

样本输出：

我正在编写 java udf 函数以通过比较位置列来添加 pincode。这是我的代码。

这个地方看起来像这样 adyar,tambaram,pallavaram,chromepet...

当我运行上面它只打印空白值。我不知道我的错误在哪里。任何帮助将不胜感激。