python - 是否可以使用 Hive Streaming 转换特定列？

Question

下面的语法有效：

SELECT TRANSFORM(col1,col2,col3) USING 'python script.py' AS col_1,col_2,col_3 FROM...

python脚本实际上只是对col3进行了转换，而col1、col2只是通过了python脚本，没有任何改变。我想重新使用这个 python 脚本，这样只要 col1 被传递，我就可以用任意列替换 col1、col2。但是以下两个代码不起作用：

SELECT col1, col2, TRANSFORM(col3) USING 'python script.py' AS col_1 FROM... 

SELECT TRANSFORM(col3) USING 'python script.py' AS col_3, col1, col2 FROM... 

如果有办法只将选定列的子集传递给流脚本，而使其他选定列远离流处理？

提前致谢。

Answer 1

这是行不通的，因为转换可以返回多行。想象一下，如果某些 col3 的 script.py 返回 2 行（col31 和 col32）。语法是什么意思？返回 col1、col2、col31 和 col1、col2、col32？