我在S3存储桶中有一个压缩的gzip文件 . 这些文件将由客户端每天上传到S3存储桶 . 未压缩时的gzip将包含CSV格式的10个文件，但仅具有相同的模式 . 我的目标是处理gzip文件，使用数据爬虫创建表模式，然后将所有数据作为镶木地板文件加载/合并到新的单个表中 .
Glue爬虫可以读取gz文件并根据文件列表创建创建表 . 请帮助解决方案 .
谢谢 .
是的，它可以读取gzip和zip csv的
https://docs.aws.amazon.com/glue/latest/dg/add-classifier.html#classifier-built-in
1 回答
是的，它可以读取gzip和zip csv的
https://docs.aws.amazon.com/glue/latest/dg/add-classifier.html#classifier-built-in