首页 文章

我如何知道何时会在Azure数据湖分析中触发并行性?

提问于
浏览
3

我有Azure数据湖分析工作,使用U-SQL用户定义的运算符处理存储在Azure数据湖商店中的大约380万条记录 .

在第一次运行时,我将并行度设置为等于10,在第二次运行时,我使用等于1的并行度 . 令人惊讶的是,我执行的工作持续时间相同(大约1.5小时) . 所以看起来我的工作没有触发并行性 . 是因为我使用了用户定义的运算符吗?我想知道如何确定何时会触发并行性以及何时不会触发并行性?

1 回答

  • 4

    您是否使用用户定义的函数或自定义UDO?

    用户定义的函数不应妨碍并行性 . 自定义UDO可能会根据其内部结构而定 .

    作业图顶点说什么?

    您可以通过查看作业图来分析并行化,如果您下载了配置文件,则可以查看顶点图并使用“诊断”选项卡进一步深入研究 . 播放实际上是否显示并行执行?

    通常,系统应根据您指定的限制,数据大小以及查询操作的复杂性以及查询处理器收集和估计的统计信息自动并行化您的作业 .

相关问题