0

我像这样在s3上存储我的数据

s3/bucket/data/event/companyid=abcd/day=2019-07-01/
s3/bucket/data/event/companyid=pqrs/day=2019-07-01/
s3/bucket/data/event/companyid=mnrt/day=2020-08-06/

粘合表是基于分区的companyidday但是在构建push down predicate以从表中读取数据时进行粘合工作,我只想使用day不是 companyid。是否有可能做到这一点?

或者必须同时使用分区列companyidday读取数据push down predicate

运行胶水作业时出现以下错误

Exception in User Class: com.amazonaws.services.glue.util.NonFatalException : User's pushdown predicate: and day='2021-03-22' can not be resolved against partition columns: [companyid,day]
4

0 回答 0