使用pyspark hive上下文连接两个配置单元表时,我看到下面的错误 .

错误:

“”“)文件”/usr/hdp/2.3.4.7-4/spark/python/lib/pyspark.zip/pyspark/sql/context.py“,第552行,在sql文件中”/usr/hdp/2.3 .4.7-4 / spark / python / lib / py4j-0.8.2.1-src.zip / py4j / java_gateway.py“,第538行,在调用文件中”/usr/hdp/2.3.4.7-4/spark/python/ lib / pyspark.zip / pyspark / sql / utils.py“,第36行,在deco文件中”/usr/hdp/2.3.4.7-4/spark/python/lib/py4j-0.8.2.1-src.zip/py4j /protocol.py“,第300行,在get_return_value py4j.protocol.Py4JJavaError:调用o41.sql时发生错误 . :org.apache.spark.SparkException:由于SparkContext已关闭,因此取消了作业EX:

lsf.registerTempTable('temp_table')

    out = hc.sql(
            """INSERT OVERWRITE TABLE AAAAAA   PARTITION (day ='2017-09-20')
               SELECT tt.*,ht.id
                FROM temp_table tt
                 JOIN hive_table ht
             ON tt.id = ht.id
        """)

还有如何参数化日?