首页 文章

Azure数据工厂自动化脚本

提问于
浏览
0

我正在开发一个使用Azure数据工厂的项目 . 我有一个要求,但不知道如何实现 .

Requirement:

源文件在Windows本地服务器(远程服务器)中生成 . 如果计数小于系统需要等待,我们需要检查源文件夹中的文件数 . 如果计数匹配,则系统应开始处理管道 .

借助power shell脚本我可以实现这个目标吗?如果是,我如何在ADF流程中提及power shell脚本?

如果我们使用run book编写power shell脚本,如何在处理管道之前在ADF中调用它们?

1 回答

  • 0

    Data Factory无法在内部执行脚本,因为这将是一个主要的安全问题 . 但是,您可以编写一个每分钟/小时在本地执行的脚本,并使用windows scheduler进行计划 . 此脚本将在文件夹中创建一个虚拟文件(例如,"ready.txt") .

    然后,您可以创建具有两个连续活动和三个数据集的ADF管道:

    D1 - > A1 - > D2 D3 - > A2

    • 第一个活动(A1)将取决于查找(和等待)该虚拟文件的数据集(D1) . 此活动将生成虚拟数据集(D2)作为输出 .

    • 第二个活动(A2)将取决于第二个虚拟数据集(D2)以及真实数据集(D3),它是包含要复制的文件的文件夹 .

    当您的脚本本地创建“ready.txt”文件时,这将触发A1,这将生成虚拟数据集D2,这反过来将触发A2,这将把文件从您的文件夹在本地复制到您想要的任何地方把他们 .

    我知道这听起来很复杂,但实际上非常简单 . 在"Run activities in a sequence"下查看here以查看您需要的大部分JSON .

相关问题