首页 文章

错误:“无法从自定义程序集中发出http请求”

提问于
浏览
1

我的Data Lake Analytics作业加载了一个实现 IExtractor 的自定义.NET程序集 . 例如,当它仅仅重新排列文本文件中的数据时,这个提取器工作得很好,但我真正想做的是通过HTTP从供应商的远程API中提取输入数据 . 所以我修改了我的提取器实现,以实现本质上是一个REST请求 .

当我这样做时,我在分析日志中收到错误"Unable to make http request" . 我认为微软限制你所能做的事情是有道理的,并且可以直接在文档中找不到任何内容:你不能在自定义程序集中发出HTTP请求 .

所以我的问题是两部分:

  • Azure Data Lake Analytics中自定义程序集的限制记录在哪里?

  • 如果我发现大量静态输入文件是获取最新数据的一种不公平的方式,那么将输入数据提取到Analytics作业的更好方法是什么?

1 回答

  • 3

    这个限制将在即将出版的关于编写自定义操作符的文档中进行记录(计划在年底之前发布) .

    我通常会在我的演示文稿中提及它,但我注意到幻灯片中没有明确说明 . 我会修复:) .

    我们不允许外部调用的主要原因是,设计糟糕的UDO可扩展到大量数据,可能看起来像是该外部服务的REST endpoints 的DDOS,因此要么将其关闭,要么将Azure置于黑名单中 .

    请告诉我们您希望在http://aka.ms/adlfeedback上实现的目标,我们将看看是否有能力我们可以添加以使这成为可能而没有上述缺点 .

相关问题