我有两个自定义代码dll,用于与IP摄像头相关的图像 .
dll-One :从IP摄像头中提取图像,并将其存储到Azure数据湖存储中 .
Like :
-
/ adls / clinic1 / patientimages
-
/ adls / clinic2 / patientimages
dll-two :使用这些图像并从中提取信息并将数据加载到RDBMS表中 .
因此,例如在RDBMS中,比如有实体不耐烦,dimclinic和factpatientVisit .
首先,可以将一次性数据导出到Azure数据湖存储中的定义位置 .
Like:
-
/ adls / dimpatient
-
/ adls / dimclinic
-
/ adls / factpatientVisit
Question : 如何在同一文件中推送增量数据或如何在Azure数据分析中处理此增量加载?
这就像在Azure Data Analytics中实施Warehouse一样 .
Note :Azure提供的Azure数据库或任何其他存储不希望这样 . 我的意思是,如果一种类型的存储具有容纳所有类型数据的能力,为什么要花费在其他Azure服务中 .
adls 是我的ADLS存储的名称 .
1 回答
我不确定我是否完全理解您的问题,但您可以按时间维度组织Azure Data Lake Store中的数据文件或分区U-SQL表中的行,以便为每个增量添加新的分区/文件 . 一般而言,我们建议这种增量具有相当大的尺寸,但要保持扩展能力 .