amazon-emr - 使用 spark sql 的 aws 胶水滴分区

Question

使用 spark sql frm 胶水元数据删除分区会引发问题，而相同的代码在 hive shell 中工作。

**Hive shell**
hive> alter table prc_db.detl_stg drop IF  EXISTS partition(prc_name="dq") ;
OK
Time taken: 1.013 seconds


**spark shell**
spark.sql(''' alter table prc_db.detl_stg drop IF  EXISTS partition(prc_name="dq") ''') ;

Error message:
py4j.protocol.Py4JJavaError: An error occurred while calling o60.sql.
: org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: InvalidObjectException(message:Unsupported expression (Service: AWSGlue; Status Code: 400; Error Code: InvalidInputException

Answer 1

如果您打算从 spark shell 中删除分区（胶水目录），则必须在分区名称中添加“”。例如：spark.sql(""" alter table reinvent.newtesttable drop partition ( part= " 'part2' " ) """)对我来说是spark.sql(''' alter table prc_db.detl_stg drop IF EXISTS partition(prc_name="'dq'") ''')