0

根据 AWS Glue 数据目录文档https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

不支持临时表。

我不清楚，或者Temporary tables我也可以考虑Temporary views可以通过DataFrame.createOrReplaceTempView方法在 Apache Spark 中创建的？

所以，换句话说 - 我不能将DataFrame.createOrReplaceTempView方法与 AWS Glue 和 AWS Glue 数据目录一起使用，对吗？我现在只能使用 AWS Glue 和 AWS Glue 数据目录对永久表/视图进行操作，并且必须使用 AWS EMR 集群来实现全功能的 Apache spark 功能？

4

1 回答 1

1

您可以在 AWS Glue 中使用 DataFrame.createOrReplaceTempView()。您必须使用 toDF() 将动态帧转换为数据帧。

但是这些视图将保留在您当前的胶水作业实例的范围内，并且无法从其他胶水作业或同一作业的其他实例或雅典娜访问

于 2018-12-26T06:48:10.130 回答