首页 文章

使用Azure Data Lake进行分析

提问于
浏览
1

目前,作为我们要求的一部分,我们正在使用以下Azure组件

  • Azure Event Hub

  • Azure流分析

  • Azure表存储

  • Azure Sql DB

基本上,通过前3个组件,我们将构建分析和报告平台 .

目前,我们刚刚开始分析Azure表存储中的数据并将其显示在分析仪表板中 .

最近我们遇到了一个新的Azure产品Azure Data Lake . 在微软网站上做一些研究,我们可以看到我们可以轻松地将数据从Azure表存储(借助Azure数据工厂)迁移到Azure Lake Store . Creating big data pipelines using Azure Data Lake and Azure Data Factory

在我们浏览上述链接时,我们需要创建一个Azure Data Lake Analytics管道来处理数据 .

所以不清楚的是,将保存分析输出数据的位置 . 我们是否需要将分析输出保存到某些数据库?或者我们可以通过Http请求进行实时分析吗?

我们在Azure表存储中有大量记录,这些记录将被移动到Azure Data Lake . 对于这种情况,这是一个不错的选择,还是我们可以从Azure Table Storage本身获得基于分析的解决方案 .

请分享你的想法

1 回答

  • 3

    您可以将分析输出数据存储在Azure Data Lake Store(一个数据存储库,使您能够以原始格式存储所有类型的数据,而无需定义模式 . )通过Azure Data lake Analytics(一种分析服务使您能够在数据集上运行作业而不必考虑集群 . )

    正如您所说的“我们在Azure表存储中有大量记录将被移动到Azure Data Lake . ”,我认为对Azure数据湖存储上的数据执行分析效率更高,因为它提供无限存储并立即读取/写入对它的访问权限并扩展工作负载所需的吞吐量 . 它还为大数据集提供低延迟的小写入 . 所以我相信它是Azure Table存储的更好选择 .

相关问题