hadoop - 如何使用 hive 拆分 url(s)

Question

我有一些这样的网址：

foo.net
abcd.com
http://www.abc.com/video/ygrefhcbaukly
http://xyz.com/video/lwriey/ew4def

parse_url((url), 'HOST') 

我尝试了上面的 hive UDF，我得到了这样的 o/p：

/N
/N
www.abc.com
xyz.com

我也想显示前 2 个 url。如何为以下 o/p 编写配置单元脚本？

foo.net
abcd.com
abc.com
xyz.com

Answer 1

您可以尝试几种选择

a) 您可以使用 case 语句。

如果 parse_url((url), 'HOST') 为空，则 url else parse_url((url), 'HOST') 以 parsed_url 结尾

为了替换 www，您可以使用正则表达式或替换功能。

b) 您可以编写您自己的 UDF，其中包含您需要的所有功能。