pyspark - 使用 pyspark 配置单元上下文连接两个表

Question

使用 pyspark hive context 加入两个 hive 表时，我看到以下错误。

错误：

""") 文件 "/usr/hdp/2.3.4.7-4/spark/python/lib/pyspark.zip/pyspark/sql/context.py"，第 552 行，在 sql 文件 "/usr/hdp/2.3. 4.7-4/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/java_gateway.py”，第 538 行，调用 文件“/usr/hdp/2.3.4.7-4/spark/python/lib /pyspark.zip/pyspark/sql/utils.py”，第 36 行，在装饰文件“/usr/hdp/2.3.4.7-4/spark/python/lib/py4j-0.8.2.1-src.zip/py4j/ protocol.py”，第 300 行，在 get_return_value py4j.protocol.Py4JJavaError：调用 o41.sql 时发生错误。：org.apache.spark.SparkException：作业取消，因为 SparkContext 已关闭 EX：

lsf.registerTempTable('temp_table')

    out = hc.sql(
            """INSERT OVERWRITE TABLE AAAAAA   PARTITION (day ='2017-09-20')
               SELECT tt.*,ht.id
                FROM temp_table tt
                 JOIN hive_table ht
             ON tt.id = ht.id
        """)

还有如何参数化 day ？