只将有效负载写入hdfs

loading...


0

在我的单一课程中,我必须 Build 一个小“大数据”项目 . 为此,我从API收集数据并将其写入文件,每个新数据集都附加到该文件 . 一个kafka制作人收集了这些数据,我已经设置了水槽将其写入HDFS . 它工作正常,但我得到了我不想要的信息

{"schema":{"type":"string","optional":false},"payload":"reak - Scan|9926110|1497381796|Roku Stick - A7171G046923|episode|97|1497386716"}

我只想要有效载荷,因为我想将该数据集导入配置单元 . 目前,它还为每个新行创建一个新文件 . 有没有办法在hdfs上有一个文件,每当有新条目进入时它会被扩展?

谢谢你的帮助!

loading...

0回答

No Data

评论

暂时没有评论!