我们有多个源系统发送数据 . 理想情况下，我们应该捕获来自源的原始数据并将其保存在数据湖中 . 然后我们必须将原始数据处理成结构化格式 . 现在，用户可以通过前端应用程序更新此数据 .
我正在考虑将rdbms放在处理过的数据之上，然后将审计跟踪从rdbms拉到数据湖，并合并处理过的数据和审计跟踪，以创建报告的最终视图 . 或者rdbms也可以用于分析 .
或者我们可以引入rdbms中的所有数据并运行rdbms中的更改并将数据从rdbms拉入数据湖 . 但是引入数据湖并没有多大意义 .
请建议 .
谢谢，
1 回答
ADLA不是面向消费者的，这意味着您不会将前端系统连接到它 . 如果问题是“我们应该做什么”，我不确定是否有人可以为你解答，但听起来你是在正确的轨道上 .
我能做的就是告诉你我们做了什么：
原始数据（CSV或TXT文件）进入Blob存储
U-SQL脚本提取该数据并将其存储在Data Lake Analytics表中 . [此时可以删除Blob] .
我们根据需要将处理过的数据输出到RDBMS之类的"consumable"源 . 有几种方法可以做到这一点，但目前我们输出到blob存储中的管道分隔文本文件，并使用Polybase导入到SQL Server . 因人而异 .
首先将数据提取到Data Lake中，然后将RDBMS提取到第二位对我来说是有意义的 .