-
0 votesanswersviews
使用Azure Data Factory v2在内部部署服务器上调用Ruby脚本或可执行文件?
如何使用Azure Data Factory v2(ADF)在内部部署服务器上调用Ruby脚本或可执行文件?在我看来,它属于自定义活动类别,ADF现在仅通过Azure Batch和Azure HDInsight支持自定义活动 . 但是如何在内部服务器/网络上运行自定义活动呢?可以理解的是,对于内部服务器或防火墙后面的网络,需要设置自托管集成运行时(IR) . 但根据ADF的文档,似乎自托管IR可用... -
0 votesanswersviews
Azure Data Factory V2 SFTP连接问题
我使用ADF V2创建了一个数据工厂,以便从SFTP服务器获取文件到blob存储 . 管道已经运行了一个月,但突然之间,我上周遇到了一个错误 . 有人能告诉我有没有办法在ADF v2中解决这个问题? Error: 活动Copy1失败:“源”端发生故障 . ErrorCode = UserErrorNetworkIssue,'Type = Microsoft.DataTransfer.Common... -
1 votesanswersviews
Azure Data Factory ARM模板
我正在创建一个ARM模板来部署数据工厂 . 除了自托管的Integration Runtime之外,一切正常 . 我有一个内部部署SQL Server和另一个内部部署Oracle DB . 两者都使用自托管Integration Runtime进行连接 . 我在部署ARM模板时遇到以下错误 . 2018-08-13T14:11:34.9569812Z ## [错误]至少一个资源部署操作失败 . 请... -
0 votesanswersviews
Azure数据工厂:如何更新管道内的管道参数(标志)
我初始化了一个管道参数,让我们说一个标志,带一个值('true') . 现在在管道中我想根据某些条件更新标志值 . 因此,假设我在管道中有一个Web活动,如果我没有从Web活动获得响应,我想将该标志的值更新为'false' . 知道怎么做吗? -
0 votesanswersviews
Azure Data Factory v2数据转换
我是Azure Data Factory的新手 . 我的问题是,我需要将数据从内部部署的Oracle和内部部署的SQL Server移动到Blob存储 . 数据需要转换为JSON格式 . 每行作为一个JSON文件 . 这将被移至事件中心 . 我怎样才能做到这一点 . 有什么建议 . -
1 votesanswersviews
在azure管道中使用azure数据工厂将数据从sql-server拉到azure blob
对象ID为'abcabcabcabcabc'的客户'abc@abc.com'无权执行操作'Microsoft.Resources / deployments / write'over scope'/ subscriptions / abcabcabc / resourcegroups / abc-01-east / providers / Microsoft.Resources /部署/出版-1... -
0 votesanswersviews
在ADF活动中传递参数
我有以下场景 . 我需要检查ADLS中是否存在某个文件 . 如果不是,我必须发送电子邮件通知这样的缺席 . 如果它在那里,继续复制它 . 所有这些都是ADF的管道 . 我想用u-sql代码生成输出参数,例如标志(1/0) . 在以下活动中,使用“IF”条件活动,检查它是否在那里(1)或不在(0)?复制或发送电子邮件 . 如何从u-sql活动创建这样的输出参数,并将其“传递”给以下的? -
0 votesanswersviews
ADF V2 - 从blob的文件路径设置参数值(csv)
我正在构建一个ADF V2解决方案,需要将CSV文件中的数据导入Azure SQL数据仓库 . 每次将新的CSV文件添加到blob容器时,我都想使用新的Azure Blob存储触发器(事件触发器)来执行管道 . CSV文件按以下层次结构组织(容器和虚拟文件夹): FactoryId(1,2,3,..) 年(2017年,2018年......) ----月(01,02,...) ... -
1 votesanswersviews
使用Azure Data Factory V2将数据从Azure Blob存储复制到SQL Server时出错
触发我的Azure数据工厂V2管道时,收到以下错误消息: { "errorCode": "2109", "message": "Region detection for linked services with type 'SqlServer' is not supported, please specify l... -
1 votesanswersviews
如何使用Azure Data Factory将CosmosDb文档复制到Blob存储(单个json文件中的每个文档)
我正在尝试使用Azure Data Factory(v2)备份我的Cosmos Db存储 . 一般来说,它正在完成它的工作,但我想让Cosmos集合中的每个文档对应blob存储中的新json文件 . 使用下一个复制参数,我可以将集合中的所有文档复制到azure blob存储中的1个文件中: { "name": "ForEach_mih", "typ... -
0 votesanswersviews
Azure Data Factory v2使用utcnow()作为管道参数
对于上下文,我目前有一个Data Factory v2管道,其中包含一个调用Copy活动的ForEach Activity . 复制活动只是将数据从FTP服务器复制到blob存储容器 . 这是管道json文件: { "name": "pipeline1", "properties": { "activities": [... -
0 votesanswersviews
Azure Data Factory V2将活动从Blob存储复制到数据仓库
我正在使用ADF v2将数据从Blob存储上的CSV源导入Azure SQL Dat Warehouse . 我在管道中的第一个活动是从CSV(在热blob存储上)到Azure SQL DWH的复制活动 . 如果此活动成功完成,则下一个活动将再次复制活动,但现在从CSV(在热点blob存储上)到CSV(在冷却blob存储上),移动历史记录和存储定价优化流程 . CSV文件的文件名作为管道参数发送... -
1 votesanswersviews
使用ADF加载到DW - 将数据加载到SQL数据仓库时发生错误
我创建了一个Azure数据工厂的管道,它将表从Azure sql复制到Azure DW(带有暂存blob存储),其中一个复制操作给了我这个错误: { "errorCode": "2200", "message": "ErrorCode=FailedDbOperation,'Type=Microsoft.DataT... -
1 votesanswersviews
使用Azure Data Factory v2中启用的polybase将空小数值传输到Azure数据仓库时出错
我们有Azure Data Factory v2管道,它使用polybase启用将数据从Azure SQL数据库传输到Azure数据仓库 . 源表包含空十进制值,但是当ADF尝试处理空值时,它会给出错误: ,错误= [{Class = 16,Number = 107090,State = 1,Message = Query aborted - 从外部源读取时达到最大拒绝阈值(0行):处理的总共... -
0 votesanswersviews
Azure Data Factory v2如果活动始终失败
我目前正在努力使用Azure数据工厂v2 If活动始终失败,并显示以下错误消息:enter image description here 我设计了两个独立的管道,一个从本地SQL Server获取数据的完整快照(1333条记录),然后将数据加载到Azure SQL数据库中,另一条只从同一源获取delta . 两个管道独立执行时工作正常 . 然后我决定将这两个管道包装到一个父管道中,它将执行此操作:... -
1 votesanswersviews
Azure Data Factory在一列中映射2列
有人可以帮助我解决错误,我正在连接我的文本文件中的两列 first name 和 last name 并将我的 Azure SQL database 中的两列合并为 sink 中的一个名称列,另一个问题是我想选择第一个从源文本文件中分别为男性和女性 M 或 F 的列性别字母,并将其更改为Azure数据工厂管道_2783798中性别列中的一个字母M或F? Update 1 我的表名是[dbo] ... -
1 votesanswersviews
ADF V2 - 根据表列参数化数据复制管道
使用Azure Data Factory V2,通过门户网站 https://adf.azure.com 我创建了一个管道,用于从多个表增量复制数据,从一个Azure SQL数据库到另一个Azure SQL数据库 . 为了创建它,我根据自己的需要调整了以下示例:Incrementally load data from multiple tables 以下是与创建的管道相关的json文件: { ... -
1 votesanswersviews
Azure Data Factory活动副本从foreach活动中获取多个表名
使用Data Factory V2我正在尝试从一个Azure SQL数据库到另一个Azure SQL数据库实现数据副本流 . 我必须将多个表合并到一个目标表中 . 为此,我创建了一个查找活动,用于创建要复制的三个表的名称 . 输出 JSON 文件将传递给foreach活动,该活动应将每个表的数据复制到目标表中,但管道执行不成功 . 我在下面报告我的管道代码: { "name":... -
2 votesanswersviews
从Azure Data Factory开始
我是Azure数据工厂的新手,我正在为我的组织进行概念验证,我发现很难获得关于相当基本的事情的良好信息,我希望有人能指出我一些好的资源我的用例 . 我知道这个问题很普遍,但任何帮助都会有用 . 我此刻正在四处走动,我觉得我浪费了很多时间 . 到目前为止,我需要几个小时的研究,而且我还没有取得多大进展 . 这是用例: 一个gzip存档每小时到达blob存储,它有几个.tsv文件,但我想提取一个,... -
0 votesanswersviews
使用Azure数据工厂中的存储过程转换数据
我正在尝试使用Azure Data Factory v2编写管道 . 数据来自Azure表存储,然后我需要通过从Azure SQL检索更多数据进行转换,然后需要发送到另一个SQL数据库进行插入 . 我的想法是使用: 从表存储查找 - >每行 - >执行SP - >将数据附加到查找输出 - >执行SP以插入另一个SQL . 我不确定我想要实现的是数据工厂是否可行,或者我是否... -
2 votesanswersviews
Azure Data factory v2复制活动源值为null,不允许使用null值null
我的问题是在复制活动期间如何/在何处执行类型转换 . 我有一个Azure数据工厂管道,它定义从Data Lake Gen1到SQL服务器数据库表中的TSV文件的数据导入 . TSV文件的架构是: {QueryDate,Count1,Count2} count1和count2可能没有值 . TSV文件中的示例数据: 20180717 10 20180717 5 5 20180717 7 1 2018... -
0 votesanswersviews
Azure数据工厂Shopify连接
我使用Shopify连接器创建了一个Azure数据工厂管道 . 连接很好,但是当我开始预览表时,我只得到其中包含数据的id列,其余数据通过null,其他人遇到过这个问题吗? SQL table output -
2 votesanswersviews
动态Azure数据工厂v2管道
所以我们有一个拥有约400个数据集和~200个管道的工厂,而且它变得笨重 . 专注于从sql源复制到blob sink . 由于我们正在复制到blob,因此架构没有任何影响 . 我想为每个源提供一个数据集,为每个blob帐户提供一个数据集,为每个源/ blob帐户组合提供一个管道,从查找中动态提供配置 . 我们已经成功开发了一个管道,它使用虚拟数据集作为源和接收器 . 如果您提供查询,容器名称和文... -
1 votesanswersviews
U-SQL活动未在Azure数据工厂上运行
我使用Azure Data Factory将本地数据传输到Azure Data Lake存储 . 复制数据后,我在上传的文件上运行U-SQL脚本,将其转换为新的.csv文件 . 如果从Visual Studio或直接从Data Lake Analytics运行,我的U-SQL作业运行正常 . 但是如果在Azure Data Factory中添加和活动 . 复制数据后,此U-SQL脚本活动立即失败 ... -
0 votesanswersviews
Azure Data Factory V2复制活动映射部署问题
请考虑以下测试数据工厂复制活动的映射: "translator": { "columnMappings": "@json('{\"from\":\"to\"}')", "type": "TabularTranslator" } 在 Set-Azure... -
0 votesanswersviews
Azure Data Factory v2门户网站速度很慢
这是有关开发过程和使用Azure Data Factory v2的一般性问题 . 我目前正在使用UI门户来设置和配置管道,数据集,活动,触发器等,但我发现滞后时间很长 . 这对其他用户来说是一样的吗? 没有使用门户的人的典型工作流程是什么? (似乎没有v2的nuget包,只有powershell作为UI门户的替代品 . ) -
3 votesanswersviews
从Azure数据工厂日志中提取数据
我正在使用Powershell检索Azure Data Factory日志以进行分析 . 我成功检索顶级日志(管道)和嵌套在(活动)内的日志并写入文本文件 . 但是我有问题展平活动文件,其中包含平面记录和包含json的字段的混合 这是我的删节剧本 . 问题出在最后一个cmdlet调用上 . 我需要弄清楚如何将其展平到我需要的地方 $DateFrom = (new-object System.Dat... -
3 votesanswersviews
Azure数据工厂v2:自定义执行管道活动
我正在尝试创建一个主管道,它将检查是否必须使用数据库中的配置运行子管道 . 子管道的名称是主管道的参数 . 我们希望使用传递给项目的参数来选择执行管道活动的管道名称 . 最终目标是,如果我们已经检索到数据,我们不希望再次从源获取数据 . 如果整个ETL过程中有任何错误,我们希望避免运行已经完成的管道 . 我试图避免创建自定义活动,因为它需要Azure Batch帐户 . 有任何想法吗? -
1 votesanswersviews
禁用Azure数据工厂管道中的活动而不删除它
所以我正在测试管道的每个活动,我想禁用其中的一些活动 . 基本上有一个发送电子邮件的活动我想要禁用,因为我想看到先前活动的输出 . Offcourse我不想删除电子邮件发送活动,因为它是在prod环境中而不是由我开发 . 有没有办法禁用它? -
0 votesanswersviews
Azure Data Factory Pipeline基于参数运行
我正在使用ADF将数据从Cosmos DB复制到Azure Data Lake . 我已安排它每24小时运行一次 . 由于ADF会将所有数据从源复制到接收器,因此我使用windowStart和windowEnd参数来过滤数据 . 过滤在Cosmos Document DB内的时间戳上完成 . 要运行管道,我要手动指定windowStart和windowEnd UTC时间,这是不可行的 . 有没有办...