使用pyspark hive上下文连接两个配置单元表时,我看到下面的错误 .
错误:
“”“)文件”/usr/hdp/2.3.4.7-4/spark/python/lib/pyspark.zip/pyspark/sql/context.py“,第552行,在sql文件中”/usr/hdp/2.3 .4.7-4 / spark / python / lib / py4j-0.8.2.1-src.zip / py4j / java_gateway.py“,第538行,在调用文件中”/usr/hdp/2.3.4.7-4/spark/python/ lib / pyspark.zip / pyspark / sql / utils.py“,第36行,在deco文件中”/usr/hdp/2.3.4.7-4/spark/python/lib/py4j-0.8.2.1-src.zip/py4j /protocol.py“,第300行,在get_return_value py4j.protocol.Py4JJavaError:调用o41.sql时发生错误 . :org.apache.spark.SparkException:由于SparkContext已关闭,因此取消了作业EX:
lsf.registerTempTable('temp_table')
out = hc.sql(
"""INSERT OVERWRITE TABLE AAAAAA PARTITION (day ='2017-09-20')
SELECT tt.*,ht.id
FROM temp_table tt
JOIN hive_table ht
ON tt.id = ht.id
""")
还有如何参数化日?