有没有办法在Azure上创建作业或Azure服务以将Azure blob文件移动(剪切)到Azure数据湖存储?
我会说Azure数据工厂非常适合这种情况 . 它支持调度(https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution),它支持从Blob到Azure Data Lake的数据传输 . 看这个例子:https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-datalake-connector
来自网站:
Data Factory是一种基于 Cloud 的数据集成服务,可以协调和自动化数据的移动和转换 . 您可以使用Data Factory服务创建数据集成解决方案,该服务可以从各种数据存储中提取数据,转换/处理数据,并将结果数据发布到数据存储 . 数据工厂服务允许您创建移动和转换数据的数据管道,然后按指定的计划(每小时,每天,每周等)运行管道 . 它还提供丰富的可视化,以显示数据管道之间的沿袭和依赖关系,并从单个统一视图监控所有数据管道,以轻松查明问题并设置监控警报 .
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-introduction
Azure Data Lake Analytics是一种计算服务,而不是数据存储 .
Data Lake Analytics作业可以连接到以下数据:
Data Lake Store
Azure存储(Blob):请参阅https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-manage-use-portal#manage-account-data-sources
通过联合查询的其他来源:http://sqlblog.com/blogs/jorg_klein/archive/2016/06/17/setup-azure-data-lake-analytics-federated-u-sql-queries-to-azure-sql-database.aspx
因此,您可以将数据保留在blob存储中,也可以使用Azure Data Factory将其传输到Data Lake Store以获得最佳的Analytics性能并享受其他优势(请参阅https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview) .
2 回答
我会说Azure数据工厂非常适合这种情况 . 它支持调度(https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution),它支持从Blob到Azure Data Lake的数据传输 . 看这个例子:https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-datalake-connector
来自网站:
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-introduction
Azure Data Lake Analytics是一种计算服务,而不是数据存储 .
Data Lake Analytics作业可以连接到以下数据:
Data Lake Store
Azure存储(Blob):请参阅https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-manage-use-portal#manage-account-data-sources
通过联合查询的其他来源:http://sqlblog.com/blogs/jorg_klein/archive/2016/06/17/setup-azure-data-lake-analytics-federated-u-sql-queries-to-azure-sql-database.aspx
因此,您可以将数据保留在blob存储中,也可以使用Azure Data Factory将其传输到Data Lake Store以获得最佳的Analytics性能并享受其他优势(请参阅https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview) .