pyspark - Pyspark：在动态配置单元查询中获取 current_timestamp

Question

我正在使用 python 程序准备 Spark，该程序基于连接从 2 个表中插入数据。目标表的最后一列有一个时间戳字段，其值为创建时间戳。

我尝试了 current_timestamp 和 from_unixtime(unix_timestamp())。这两个功能似乎都不起作用。我现在试过了（）。

例如，HiveContext(sc).sql("SELECT" + from_unixtime(unix_timestamp()) + "") 这个语句在 pyspark 中出现错误，出现“NameError: name 'from_unixtime' is not defined” 我已经导入了 pyspark.sql.function

有没有办法将时间戳值插入目标表？我的查询包含从我在 HiveContext 中运行的 2 个表中选择的插入。

预先感谢！！！

Answer 1

如下在双引号内使用并且有效：

HiveContext(sc).sql("SELECT from_unixtime(unix_timestamp())")