首页 文章

如何处理或体系结构,Azure数据湖存储中的增量数据提取?

提问于
浏览
0

我有两个自定义代码dll,用于与IP摄像头相关的图像 .

dll-One :从IP摄像头中提取图像,并将其存储到Azure数据湖存储中 .

Like

  • / adls / clinic1 / patientimages

  • / adls / clinic2 / patientimages

dll-two :使用这些图像并从中提取信息并将数据加载到RDBMS表中 .

因此,例如在RDBMS中,比如有实体不耐烦,dimclinic和factpatientVisit .

首先,可以将一次性数据导出到Azure数据湖存储中的定义位置 .

Like:

  • / adls / dimpatient

  • / adls / dimclinic

  • / adls / factpatientVisit

Question : 如何在同一文件中推送增量数据或如何在Azure数据分析中处理此增量加载?

这就像在Azure Data Analytics中实施Warehouse一样 .

Note :Azure提供的Azure数据库或任何其他存储不希望这样 . 我的意思是,如果一种类型的存储具有容纳所有类型数据的能力,为什么要花费在其他Azure服务中 .

adls 是我的ADLS存储的名称 .

1 回答

  • 1

    我不确定我是否完全理解您的问题,但您可以按时间维度组织Azure Data Lake Store中的数据文件或分区U-SQL表中的行,以便为每个增量添加新的分区/文件 . 一般而言,我们建议这种增量具有相当大的尺寸,但要保持扩展能力 .

相关问题