0

在我们的项目中,我们使用AWS Glue (catalog)位置指向parquet存储在S3. 然后我们使用Spark-SQL查询这些表来处理数据,并且经常陷入由于缺乏统计信息导致的性能问题(我认为)。我尝试使用该命令收集统计信息, analyze table mytable compute stats但它会引发错误 - Can not create path from empty string

我完全一无所知。我的问题是如何减轻这个错误,以便可以在这些 Glue 表上正确收集统计信息,然后 spark 可以利用这些信息来优化连接操作?

4

0 回答 0