我的目标是获取RDS表的每日快照并将其放在DynamoDB表中 . 该表应仅包含一天的数据 .
为此，设置了数据管道以查询RDS表并将结果以CSV格式发布到S3 .
然后，HiveActivity通过为文件和现有DynamoDB表创建外部表，将此CSV导入DynamoDB表 .
这很好用，但前一天的旧条目仍然存在于DynamoDB表中 . 如果可能的话，我想在Data Pipeline中这样做 . 我需要：
1）找到清除DynamoDB表的方法，或者至少删除/重新创建它，或者2）包括快照日期的额外列并找到清除所有旧条目的方法 .
有关如何做到这一点的任何想法？
1 回答
您可以使用DynamoDb Time to Live(TTL) ，它允许您设置从DynamoDb表中自动删除项目的到期时间 . TTL对于数据在特定时间段内失去相关性的情况非常有用，在您的情况下，它可能是第二天的开始时间 .