我正在开发一个庞大的数据库,每天生成的数据超过50GB . 我通过SageMaker查询Athena,我有5GB的可用空间 . The data format which I am using is JSON .
在过去的几天里,我一直在查询特定日期的数据,但是在热图上可视化这些数据并不清楚 . 我想尝试查询整个月 .
我的表有2列 creation_date
(例如2018-01-30 20:15:01)和 id
,是否有可能在Presto中查询数据以获得一个数据透视表,其中我有一天和小时的ID总和?
不幸的是,如果我不优化查询,由于空间限制,我将无法打开结果 . 查询 select *
将扫描超过1TB的数据 .