首页 文章
  • 1 votes
     answers
     views

    Athena从AWS DMS CSV文件中读取

    我将我的DMS配置为从MySQL数据库读取并通过复制将其数据迁移到S3 . 一切似乎都运行良好,它为所有数据创建大的CSV文件,并开始使用增量创建较小的CSV文件 . 问题是,当我使用AWS Glue Crawlers读取这些CSV文件时,它们似乎没有获得这些增量,甚至更糟糕的是,它们似乎只获得了增量,忽略了大的CSV文件 . 我知道这里有类似的帖子:Athena can't resolve CS...
  • 1 votes
     answers
     views

    Athena无法从AWS DMS解析CSV文件

    我已配置DMS以连续将数据从MySQL RDS复制到S3 . 这会创建两种类型的CSV文件:完整加载和更改数据捕获(CDC) . 根据我的测试,我有以下文件: testdb/addresses/LOAD001.csv.gz testdb/addresses/20180405_205807186_csv.gz 在DMS正常运行后,我触发AWS Glue Crawler为包含MySQL Replic...
  • 0 votes
     answers
     views

    在AWS Aurora和Redshift之间使用二进制类型同步表

    我一直在尝试一些AWS解决方案来在Aurora和Redshift之间同步数据 . 这样做的目的是删除我们的事务和分析数据库之间的数据管道的提取部分 . 我尝试了什么: AWS Data Pipeline . 我认为这很快就会终结,因为与Glue和DMS相比,界面和功能似乎过时了 . 数据管道也不兼容Terraform . AWS DMS . 我有这个设置但没有找到将 LONGBLOB 类型...

热门问题