我在Azure Data Factory V2中创建了一个Pipeline . 它将从Rest API复制数据，并以Azure Data Lake中的JSON文件的形式保存此数据 . 然后我使用U-SQL转换该JSON文件并将该数据复制到.csv格式的另一个文件夹中 . 我的管道 . 请参阅以下管道图像 .

enter image description here

Rest API将数据返回JSON格式 .

{
    "data": [
        {
            "id": "100024937598765",
            "name": "Sebastian Martinelli",
            "email": "sebastian.martinelli@abc.com",
            "administrator": false
        },
        {
            "id": "100024909012916",
            "name": "Diego Juarez",
            "email": "diego.juarez@abc.com",
            "administrator": false
        },
        {
            "id": "100025002270557",
            "name": "Jose Lopez",
            "email": "jose.lopez@abc.com",
            "administrator": false
        },
        {
            "id": "100024553664067",
            "name": "Valentin Montemarani",
            "email": "valentin.montemarani@abc.com",
            "administrator": false
        }
    ],
    "paging": {
        "cursors": {
            "before": "QVFIUmU1QnBOYThYTnJiQlNqVzItMFdoTVprSHh3cWZA4LXF2ZAE5nSjIxVWZAOWUc1ZAjdLZAjN2em1SazRYVno4TGE4aFBaOFdMaS1NMDdkeEduVkRsOTVhN3Jn",
            "after": "QVFIUjhWdm5EOTk3amJaWHVYR3p1OEZAZAQ0ZAoeTR5TDBwblE0Mmx3dC1zRXhPM2VLZAWdqR0RWQndUVnhpTGc3RkIzVkNIY21EcXFTQU93NHVxRFcxVW12dTNB"
        },
        "next": "https://graph.facebook.com/v2.12/1528385107457405/members?access_token=%2Cemail&limit=25&after=QVFIUjhWdm5EOTk3amJaWHVYR3p1OEZAZAQ0ZAoeTR5TDBwblE0Mmx3dC1zRXhPM2VLZAWdqR0RWQndUVnhpTGc3RkIzVkNIY21EcXFTQU93NHVxRFcxVW12dTNB"
    }
}

这个API没有返回 full data 它通过点击我们可以获取 next set of records 的下一个链接使用 next 链接返回数据 . 如何在 Data Factory V2 中使用 Iteration 获取此类数据？我尝试了其他活动，例如 For each, Until and If ，但无法重复该复制活动以获取完整数据 .

基本URL就像

https://graph.facebook.com/Community/groups?fields=privacy,name,purpose&limit=5&access_token=value

现在，下一个URL将是相同的，并在其后有1个参数

https://graph.facebook.com/v2.12/1528385107457405/groups?access_token=value&pretty=1&fields=privacy,name,purpose&limit=5&after=QVF

Is there any way to do this?

azure-data-factory azure-data-lake u-sql azure-data-factory-2