我想设置一个Azure数据工厂管道,它执行移动(即复制,验证,删除)操作,而不仅仅是Blob存储和Data Lake Store之间的复制操作 . 我似乎无法找到有关如何做到这一点的任何细节 .
Azure数据工厂没有内置活动或选项来移动文件而不是复制它们 . 但是,您可以使用Custom Activity执行此操作 .
This example on github演示了如何使用Azure Blob执行此操作:
... blob.DeleteIfExists(); ...
https://github.com/Azure/Azure-DataFactory/tree/master/Samples/DeleteBlobFileFolderCustomActivity
如果您认为这是一项重要功能,请添加反馈请求:
https://feedback.azure.com/forums/270578-data-factory
最近添加了删除活动:
https://azure.microsoft.com/en-us/blog/clean-up-files-by-built-in-delete-activity-in-azure-data-factory/
来自ADF的产品团队 . 虽然我们正在将“删除”作为ADF中的第一类活动,但我们已经在Github中发布了一个示例,说明用户在使用ADF复制活动复制文件后如何删除文件(在本例中为Azure Blob) .
这可以使用ADF自定义.Net活动 . 该示例展示了以下内容:
一个C#文件,可用作ADF自定义.net活动的一部分,用于删除特定blob或整个文件夹 .
用户需要在管道json的'inputToDelete'扩展属性中以逗号分隔列表的形式提供要删除的Azure Blob数据集列表 . 自定义.Net活动将检索数据集FolderPath和filename属性 . 如果仅指定FolderPath,它将删除blob文件夹的所有内容 .
Github回购的内容:
DeleteFromBlobActivity.cs - 要用作ADF自定义.Net活动的一部分的C#文件,用于删除blob文件夹
PipelineSample.json - 展示如何调用ADF Custom .Net delete blob活动 . 替换样本管道json中与数据集名称,计划和链接服务相对应的占位符 .
2 回答
Azure数据工厂没有内置活动或选项来移动文件而不是复制它们 . 但是,您可以使用Custom Activity执行此操作 .
This example on github演示了如何使用Azure Blob执行此操作:
https://github.com/Azure/Azure-DataFactory/tree/master/Samples/DeleteBlobFileFolderCustomActivity
如果您认为这是一项重要功能,请添加反馈请求:
https://feedback.azure.com/forums/270578-data-factory
最近添加了删除活动:
https://azure.microsoft.com/en-us/blog/clean-up-files-by-built-in-delete-activity-in-azure-data-factory/
来自ADF的产品团队 . 虽然我们正在将“删除”作为ADF中的第一类活动,但我们已经在Github中发布了一个示例,说明用户在使用ADF复制活动复制文件后如何删除文件(在本例中为Azure Blob) .
https://github.com/Azure/Azure-DataFactory/tree/master/Samples/DeleteBlobFileFolderCustomActivity
这可以使用ADF自定义.Net活动 . 该示例展示了以下内容:
一个C#文件,可用作ADF自定义.net活动的一部分,用于删除特定blob或整个文件夹 .
用户需要在管道json的'inputToDelete'扩展属性中以逗号分隔列表的形式提供要删除的Azure Blob数据集列表 . 自定义.Net活动将检索数据集FolderPath和filename属性 . 如果仅指定FolderPath,它将删除blob文件夹的所有内容 .
Github回购的内容:
DeleteFromBlobActivity.cs - 要用作ADF自定义.Net活动的一部分的C#文件,用于删除blob文件夹
PipelineSample.json - 展示如何调用ADF Custom .Net delete blob活动 . 替换样本管道json中与数据集名称,计划和链接服务相对应的占位符 .