试图掌握我将用于安排和运行作业以将数据移动到S3的内容,在其上运行脚本并在之后将其移动到s3 .

我的要求是能够从API中直接摄取,也可以直接从数据库中摄取 . 要摄取的某些格式是XML,而其他格式可能是平面文件 . 原始文件需要连接和转换,并转换为可以生成图形的格式 .

什么是AWS胶水就像ETL工具一样?我的具体问题是,您是否可以看到完成的管道在创建后以图形视图显示数据源和处理部件?

我使用过Azure数据工厂 - 它有一个图形用户界面来查看和监控我觉得非常有用的管道 . 只是想知道AWS胶水是否有类似的东西 .

如果不是 - AWS S3上的Nifi是一个很好的方法吗?

谢谢