我正在使用python程序准备Spark,它根据连接从2个表中插入数据 . 目标表的最后一列有一个时间戳字段,其值为create timestamp .
我尝试了current_timestamp和from_unixtime(unix_timestamp()) . 这两个功能似乎都不起作用 . 我现在试过() .
例如,HiveContext(sc).sql(“SELECT”from_unixtime(unix_timestamp())“”)pyspark中带有“NameError:name'from_unixtime'的语句错误未定义”我已导入pyspark.sql.function
有没有办法将时间戳值插入目标表?我的查询包含插入,从2个表中选择,我在HiveContext中运行 .
预先感谢!!!
1 回答
在双引号内使用,如下所示:
HiveContext(sc).sql(“SELECT from_unixtime(unix_timestamp())”)