我一直在尝试一些AWS解决方案来在Aurora和Redshift之间同步数据 . 这样做的目的是删除我们的事务和分析数据库之间的数据管道的提取部分 . 我尝试了什么:

  • AWS Data Pipeline . 我认为这很快就会终结,因为与Glue和DMS相比,界面和功能似乎过时了 . 数据管道也不兼容Terraform .

  • AWS DMS . 我有这个设置但没有找到将 LONGBLOB 类型转换为Redshift兼容类型的方法 . 此外,我发现时间戳中存在一些不兼容性 .

  • AWS胶水 . 这起初似乎是最好的解决方案,因为它有一个可在Python / Scala中编写脚本的转换层,但到目前为止,我还没有能够成功转换成功 .

有没有其他人设法成功将像LongBlob这样的二进制类型转换为Redshift的兼容类型?