首页 文章

Azure Data Factory v2 Pipeline API调用触发器时间戳

提问于
浏览 次
0

我不熟悉azure数据工厂，我正在尝试 Build 一个管道，从特定时间范围内从API获取数据 . 这是我到目前为止所做的：我为API调用创建了一个翻滚窗口管道，将数据作为JSON文件引入并存储在具有特定时间戳的ADL文件夹中 . 问题是我只需要当前日期和小时的数据并存储在该特定文件夹中egyear / month / day / hour / json文件如何告知URL只是在激活触发器的一小时内获取数据（触发器）设置为每整个小时，需要从凌晨3点到3点59分获取数据 . 我能够从特定的时间戳获取数据，但不能获得与触发时间相关的当前时间.URL代码：？sourceId = 1LuOA，9VKZ2， CISG1，D7UIQ，gu4me，hSZGT，K582n，MnkPP，Mxgt4，N4hAZ，PvECt，Qhr1i，uIWnW，vot1K，XAbJ4，XRH1E，ZbKW0，Zjrs3，ZttLo＆间隔= S10＆maxResult = 500＆startTimestamp = 2018-05-16T00：00：00％2B00： 00 endTimestamp = 2018-05-16T00：59：59％2B00：00

水槽代码：

beacon/@{formatDateTime(adddays(utcnow(),0),'yyyy')}/@{formatDateTime(adddays(utcnow(),0),'MM')}/@{formatDateTime(adddays(utcnow(),0),'dd')}

当我尝试添加小时时，我得到一个不代表小时的奇怪文件夹 .

api triggers pipeline azure-data-factory azure-data-factory-2

1 回答

  • 0

    在您的管道中，定义一个管道参数，比如windowStart . 然后将trigger（） . outputs.windowStartTime传递给您的管道参数 . 然后，如果您的预期文件夹名称是abc /年/月/日/小时 . 你可以用 abc/@{formatDateTime(pipeline().parameters.windowStart,'yyyy')/@{formatDateTime(pipeline().parameters.windowStart,'MM')/@{formatDateTime(pipeline().parameters.windowStart, 'dd')/@{formatDateTime(pipeline().parameters.windowStart,'HH')}

    请参考这个翻滚窗口 . https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-tumbling-window-trigger#tumbling-window-trigger-type-properties

    回复于

相关问题