hadoop - 如何编写配置单元 UDF

Question

我对如何使用 UDFS 感到很困惑。是否可以用 UDF 替换下面的 bash 脚本功能？

#!/bin/bash

 src_count_q="use db;select count(*) from config_table where table_nm="test_source";"
 src_count=$(hive -e $src_count_q)

 trg_count_q="use db;select count(*) from config_table where table_nm="test_target";"
 trg_count=$(hive -e $trg_count_q)

 if ["$src_count" = "trg_count"];
 then
   $(hive -e "use db;select * from test_target;")
 fi

请帮忙 ！！我已经看到了如何反转字符串或更改大小写的 UDF。但我无法弄清楚如何为这些我们重用查询结果的条件情况编写 HIVE UDF。

还有其他更好的方法来处理这类查询流吗？

Answer 1

根据我的说法，您可以使用 HIVE UDF 在配置单元中启用一些 sql 功能，但您不能使用这些来放置类似 PL-SQL 的东西。因此，对于您的问题，您可以使用 Spark-SQL 是我使用过的一种更好的方法。