尝试将大型（数百万个文件）S3存储桶从 Cloud 同步到本地存储对于大多数S3工具来说似乎是一个麻烦的过程，因为我到目前为止所看到的几乎所有内容都使用GET Bucket操作，耐心地获取存储桶中的整个文件列表，然后将其与文件本地列表区分开来，然后执行实际的文件传输 .
这看起来非常不理想 . 例如，如果可以列出自给定日期以来创建/更改的存储桶中的文件，则可以快速完成，因为要传输的文件列表仅包括少数，而不是数百万 .
但是，鉴于answer to this question仍然是正确的，在S3 API中不可能这样做 .
是否有其他方法可以对给定的大型S3存储桶进行定期增量备份？
1 回答
在AWS S3上，您可以配置事件通知（例如：
s3:ObjectCreated:*） . 在创建对象时请求通知 . 它支持SNS，SQS和Lambda服务 . 因此，您可以拥有一个监听事件并更新统计信息的应用程序 . 您可能还希望将广告时间戳作为统计信息的一部分 . 然后只需"query"一段时间的结果，你将获得你的delta .