首页 文章

Pyspark:在动态配置单元查询中获取current_timestamp

提问于
浏览
0

我正在使用python程序准备Spark,它根据连接从2个表中插入数据 . 目标表的最后一列有一个时间戳字段,其值为create timestamp .

我尝试了current_timestamp和from_unixtime(unix_timestamp()) . 这两个功能似乎都不起作用 . 我现在试过() .

例如,HiveContext(sc).sql(“SELECT”from_unixtime(unix_timestamp())“”)pyspark中带有“NameError:name'from_unixtime'的语句错误未定义”我已导入pyspark.sql.function

有没有办法将时间戳值插入目标表?我的查询包含插入,从2个表中选择,我在HiveContext中运行 .

预先感谢!!!

1 回答

  • 0

    在双引号内使用,如下所示:

    HiveContext(sc).sql(“SELECT from_unixtime(unix_timestamp())”)

相关问题