-
0 votesanswersviews
如何使用scala获取包含csv.gz目录的tar目录中的所有csv文件?
我有以下问题:假设我有一个包含压缩目录.tar的目录,其中包含多个文件.csv.gz . 我想获取父压缩directorie * .tar中的所有csv.gz文件 . 我使用scala 2.11.7这棵树 file.tar |file1.csv.gz file11.csv |file2.csv.gz file21.cs... -
0 votesanswersviews
pyspark - 读取格式错误的.gz文件
我正在EMR上的pyspark中读取压缩的.gz文件 . 但是文件格式不正确(它是每行中具有不同列数的json文件)并且获得以下异常 . 有人可以提供有关如何在pyspark中读取格式错误的gz文件的指示吗? 码: rdd = sc.textFile("s3n://abc/us/web-logs/2018/08/29/00/0000.gz"); df = rdd.toDF();... -
304 votesanswersviews
如何在不包含目录本身的情况下tar文件和文件夹目录?
我通常这样做: tar -czvf my_directory.tar.gz my_directory 如果我只想在my_directory中包含所有内容(包括任何隐藏的系统文件),而不是目录本身,该怎么办?我不想要: my_directory --- my_file --- my_file --- my_file 我想要: my_file my_file my_file