我像这样在s3上存储我的数据
s3/bucket/data/event/companyid=abcd/day=2019-07-01/
s3/bucket/data/event/companyid=pqrs/day=2019-07-01/
s3/bucket/data/event/companyid=mnrt/day=2020-08-06/
粘合表是基于分区的companyid
,day
但是在构建push down predicate
以从表中读取数据时进行粘合工作,我只想使用day
而不是 companyid
。是否有可能做到这一点?
或者必须同时使用分区列companyid
和day
读取数据push down predicate
?
运行胶水作业时出现以下错误
Exception in User Class: com.amazonaws.services.glue.util.NonFatalException : User's pushdown predicate: and day='2021-03-22' can not be resolved against partition columns: [companyid,day]