我正在寻找一种最佳的编程方法,将数据从Azure Data Lake提取到MSSQL数据库,该数据库安装在Azure中的VM上 .
目前我正在考虑以下选项:
Azure Data Factory
SSIS(Using Azure Data Lake Store Connection Manager)
用户定义的输出器Example1,_ 27363610
自定义C#代码,用于读取Azure Data Lake数据并将其插入SQL Server DB
我失踪的任何其他好方法?
数据工厂v2(目前在公开预览中),也支持hosting SSIS为您提供数据工厂和ssis选项 .
对于许多场景而言,并不一定是个好主意,但Azure Logic Apps同时具有data lake store connector和SQL Server connector,这在诸如按计划或触发器编写大量小文件的情况下非常有用 .
您也可能不需要完全使用c#而是使用PowerShell,对于数据湖存储和SQL Server都有powershell模块 .
1 回答
数据工厂v2(目前在公开预览中),也支持hosting SSIS为您提供数据工厂和ssis选项 .
对于许多场景而言,并不一定是个好主意,但Azure Logic Apps同时具有data lake store connector和SQL Server connector,这在诸如按计划或触发器编写大量小文件的情况下非常有用 .
您也可能不需要完全使用c#而是使用PowerShell,对于数据湖存储和SQL Server都有powershell模块 .