我正在使用具有自定义活动(配置为在Azure Batch上运行)的数据工厂管道,该自定义活动具有数据湖存储输入数据集和输出数据集 . 数据湖存储链接服务正在使用服务来授权auth(服务主体),并且通过复制向导在复制活动中使用时工作正常 . 但是当与尝试检查数据湖中是否存在文件的自定义活动一起使用时,活动将失败并显示错误“需要授权” . 使用Azure Blob Store作为输入和输出数据集时,相同的自定义活动可以正常工作 .
似乎Azure Batch(计算节点)无法授权Data Lake Store的问题 . 如果你已经解决了上述问题,请帮忙 .
1 回答
大约3个星期前,我有同样的问题 . 我感觉到你的痛苦!
This is a Microsoft bug!
经过大量试验和错误以及重新部署后,我向微软提出了一张支持票,证明数据湖商店的服务主体认证目前仅适用于复制活动 . Not 与自定义活动 .
这是我4月10日星期一得到的官方回应 .
请注意,如果您将链接服务更改为使用会话令牌等,则还需要重新部署包含自定义活动的管道 . 否则你会得到另外一个类似下面的错误......
希望这可以帮助 .