-
-1 votesanswersviews
在VSTS的git存储库中获取最后更新/提交的文件
我试图改进Azure Data Factory管道的部署 . 换句话说,我计划仅将最近修改的管道或最近添加的管道部署到Azure门户中的ADF . 目前,我在CD管道中使用powershell任务来部署所有管道 . 如何使用时间戳获取最近修改的管道?任何建议都会有帮助 . :) -
3 votesanswersviews
内存不足使用Azure Data Factory运行U-SQL活动的异常
我正在运行U-SQL活动作为Azure数据工厂中的管道的一部分,用于定义的时间片 . U-SQL Activity运行一系列U-SQL脚本,这些脚本读入并处理存储在Azure Data Lake中的数据 . 在我的本地运行中成功处理数据时,在Azure数据工厂 Cloud 环境中运行时会导致系统内存不足异常 . 输入数据大约为200MB,这不应该是一个问题处理,因为先前已经处理了更大的数据集 .... -
0 votesanswersviews
用于功率BI的数据存储湖中的表格数据模型
我需要从数据湖存储中使用数据并在电源BI中显示 . 数据大小很大,可能是20 GB或50 GB,我不知道功能会有多大 . 我也不能使用Azure DW和Azure Analysis服务 . 现在我提出了一个解决方案我应该在azure数据湖商店中创建一个表格文件(数据透视表),其中聚合日期与数据中的所有表连接一起存储 地理名称产品名称Salesyerar2015 Salesyerar2017 use... -
2 votesanswersviews
在powershell中使用VS中的配置文件来部署Azure Data Factory
我已经创建了配置文件(Dev.json和QA.json),以使用Visual Studio将Azure Data Factory工件部署到不同的环境中https://www.purplefrogsystems.com/paul/2017/01/using-azure-data-factory-configuration-files/. 使用VS进行部署是一项耗费时间的任务,因此我决定使用Power... -
0 votesanswersviews
Azure数据工厂自动化脚本
我正在开发一个使用Azure数据工厂的项目 . 我有一个要求,但不知道如何实现 . Requirement: 源文件在Windows本地服务器(远程服务器)中生成 . 如果计数小于系统需要等待,我们需要检查源文件夹中的文件数 . 如果计数匹配,则系统应开始处理管道 . 借助power shell脚本我可以实现这个目标吗?如果是,我如何在ADF流程中提及power shell脚本? 如果我们使用ru... -
0 votesanswersviews
Azure数据工厂使用PowerShell进行连续部署
我需要为Azure数据工厂(ADF)进行连续集成和部署 . 为此,在Visual Studio解决方案中,我有两个项目: 一个用于ADF json文件(链接服务,数据集等) . 一个用于PowerShell脚本,用于将此ADF部署到Azure订阅中 . 步骤紧随其后 获取ADF代码的MSBUILD并使用复制文件任务复制到 $(Build.ArtifactStagingDirectory... -
1 votesanswersviews
在azure管道中使用azure数据工厂将数据从sql-server拉到azure blob
对象ID为'abcabcabcabcabc'的客户'abc@abc.com'无权执行操作'Microsoft.Resources / deployments / write'over scope'/ subscriptions / abcabcabc / resourcegroups / abc-01-east / providers / Microsoft.Resources /部署/出版-1... -
0 votesanswersviews
将Azure ADF管道内的值传递给调用管道的PowerShell
我想基于Azure ADF(Azure数据工厂)管道中的值在PowerShell中执行一些步骤 . 如何将值从ADF管道传递到PowerShell,我调用此ADF管道?因此,我可以根据从ADF管道收到的值在PowerShell中执行适当的步骤 . 注意:我不是在寻找管道的运行状态(成功,失败等),但我正在寻找一些我们在管道中获得的变量值 - 比如,我们从表中获得的一个标志值查找活动等 有什么想法吗... -
2 votesanswersviews
如何使用azure数据工厂将驻地文件移动到其他目录
在使用azure数据工厂完成复制到azure blob存储之后,我试图将驻地文件移动到不同的目录 . 有没有人知道如何实现它? -
2 votesanswersviews
Azure Data Factory无法访问受IP限制的VNet中的HDInsight群集
我在Azure VNet上有一个HDInsight Hadoop集群(Linux,单独部署)(使用NSG限制客户端IP) . Azure SQL防火墙有一个名为“允许访问Azure服务”的选项,它允许Data Factory访问Azure SQL . 在VNet中没有这样的选项,您必须指定IP地址范围或设置标记(Internet,虚拟网络,AzureLoadBalancer) . 我认为Azure... -
2 votesanswersviews
错误VertexFailedFast . 顶点故障触发了快速作业中止
我正在运行Data Lake - Analytics工作,我收到以下错误 错误VertexFailedFast . 顶点故障触发了快速作业中止 . 顶点失败:SV1_Extract [0] [0],错误:顶点用户代码错误 . 说明Vertex因失败快速错误而失败 有人知道为什么会这样吗? -
0 votesanswersviews
处理Azure管道中的错误,从博客中的csv文件到Azure Sql
我在数据工厂中创建一个管道,在博客中获取csv文件并将其加载到Azure SQL中 . csv文件中的某些行将具有缺少/额外的分隔符 . 因此,对于该特定行,csv文件和Azure SQL表中的行数将不对应 . 我希望该过程继续工作并将错误的行存储在错误表中,让流程完成工作 . 请帮忙 . 干杯 . -
0 votesanswersviews
Azure Data Lake分析作业无法从Data Lake store读取数据
我有一个CSV文件从Azure blob复制到Azure数据湖商店 . 管道线成功 Build 并复制文件 . 我正在尝试从这里编写USQL示例脚本: 首页 - > datalakeanalysis1->示例脚本 - >新工作 它显示我的默认脚本 . //Define schema of file, must map all columns @searchlog = ... -
0 votesanswersviews
在多个文件中管理U-SQL脚本并将其作为单个作业运行
我们编写了一个大型U-SQL脚本,它由几个相互依赖的代码单元组成 . 它可以作为单个U-SQL作业运行 . 顺便说一句,我们将这项工作作为Azure Data Factory活动运行 . 我们希望将此脚本划分为多个U-SQL脚本,每个脚本包含一个单元,以便更好地进行维护和测试 . 通过这种方式,我们将能够对脚本的各个单元进行单元测试 . 但如果我们这样做,我们就面临另一个问题 . 在多个脚本的情况... -
1 votesanswersviews
如何使用ADF中的参数为文件夹中的所有文件运行U-SQL?
无法将“in”参数传递给U-SQL以使用该文件夹中的所有文件 . 在我的ADF管道中,我有以下参数设置: "parameters": { "in": "$$Text.Format('stag/input/{0:yyyy}/{0:MM}/{0:dd}/*.csv', SliceStart)", "out"... -
2 votesanswersviews
如何在ADF中安排U-SQL过程?
我在Azure数据湖中使用U-SQL创建了一个存储过程 . 我想在Azure数据工厂中安排该存储过程 . 可能吗?我试过以下步骤: 我在Azure Data Lake中使用U-SQL创建了一个存储过程 . 我创建了一个执行相同过程的脚本 . 现在,我正在尝试从ADF运行该U-SQL脚本 . 这是执行U-SQL存储过程的正确方法吗? -
3 votesanswersviews
是否可以在Azure Data Factory中使用U-SQL托管表作为输出数据集?
我有一个小的ADF管道,可以将一系列文件从Azure存储帐户复制到Azure Data Lake帐户 . 作为管道中的最后一个活动,我想运行一个U-SQL脚本,该脚本使用复制的文件作为输入,并将结果输出到U-SQL托管表 . U-SQL脚本基本上从复制的文件中提取数据,应用一些转换,然后将其INSERT到现有的U-SQL托管表中 . 如何(如果可能)可以将U-SQL表添加为Azure数据工厂中的输... -
0 votesanswersviews
使用Azure Data Factory从C#代码运行U-SQL脚本
我试图通过C#代码在Azure上运行U-SQL脚本 . 在执行代码之后,所有内容都在azure(ADF,链接服务,管道,数据集)上创建,但ADF不执行U-SQl脚本 . 我认为管道代码中配置的startTime和end Time存在问题 . 我按照以下文章来完成此控制台应用程序 . Create, monitor, and manage Azure data factories using Da... -
0 votesanswersviews
Azure数据工厂:参数化文件夹和文件路径
Environments Azure数据工厂 Scenario 我有ADF管道,它从On premise服务器读取数据并将数据写入azure数据湖 . 同样 - 我在ADF *(数据集)*中提供了文件夹结构,如下所示 文件夹路径: - DBName/RawTables/Transactional 文件路径: - TableName.csv Problem 是否可以参数化文件... -
1 votesanswersviews
ADF V2中的USQL活动 - 2705用户无法访问datalake商店
使用Azure Data Factory V2运行U-SQL脚本时遇到问题 . 这个U-SQL脚本在门户网站或vs中运行良好: @a = SELECT * FROM (VALUES ("Contoso", 1500.0, "2017-03-39"), ("Woodgrove", 2700.... -
0 votesanswersviews
在azure数据湖上处理多个文件
假设azure data lake store上有两个文件集A和B. /A/Year/ /A/Month/Day/Month/ /A/Year/Month/Day/A_Year_Month_Day_Hour /B/Year/ /B/Month/Day/Month/ /B/Year/Month/Day/B_Year_Month_Day_Hour 我想获得一些值(比如说实体的DateCreated... -
2 votesanswersviews
根据间隔配置Azure数据工厂管道中的动态参数数量?
我们的用例需要通过Azure Data Factory将可配置输入传递给U-SQL脚本 . 我们正在评估可行性,并且需要根据活动时间片的间隔自动化传递给U-SQL脚本的变量数 . 例如,如果要每4小时运行一次U-SQL脚本,则需要从4个不同的文件中读取数据,每小时一个 . 如果间隔更改为5小时,我们需要自动执行此操作,以便它可以自动从5个不同的文件中读取,而无需更新U-SQL脚本 . 文件路径的格... -
0 votesanswersviews
Azure Data Factory管道的多个接收器
在Azure数据工厂管道中,我可以使用两个SINK进行复制活动吗?我有一个源和2个接收器(一个Azure Data Lake存储库用于下游处理,另一个用于Blob存储存档) . -
1 votesanswersviews
从Azure中的Data Factory在ADL存储中执行U-SQL脚本
我有一个存储在我的ADL商店的USQL脚本,我正在尝试执行它 . 脚本文件非常大 - 大约250Mb . 到目前为止,我有一个数据工厂,我已经创建了一个链接服务,我正在尝试创建一个Data Lake Analytics U-SQL活动 . 我的U-SQL Activity的代码如下所示: { "name": "RunUSQLScript1", "p... -
1 votesanswersviews
Data Factory v2:Data Lake增量复制活动
在我的 Azure Data Lake 目录 ingest 中,我有时间戳命名的子目录: ingest/1510395023/file.tsv ingest/1510425023/file.tsv ingest/1510546210/file.tsv ... 在 Azure Data Factory v2 复制活动(Data Lake到SQL Server)中,如何将Data Lake目录过滤到... -
1 votesanswersviews
使用Azure Data Factory获取分页数据
我在Azure Data Factory V2中创建了一个Pipeline . 它将从Rest API复制数据,并以Azure Data Lake中的JSON文件的形式保存此数据 . 然后我使用U-SQL转换该JSON文件并将该数据复制到.csv格式的另一个文件夹中 . 我的管道 . 请参阅以下管道图像 . Rest API将数据返回JSON格式 . { "data"... -
2 votesanswersviews
部署USQL项目
我是数据湖分析和使用USQL的新手 . 我目前正在设置数据工厂管道,它将取代现有的SSIS工作流程 . 数据工厂管道本质上是 将数据事务数据库提取到ADLS中 使用USQL转换原始实体 使用自定义活动将数据加载到SSAS中 问题 我有一个USQL项目设置,如果有一种标准的方式将它们部署到ADLA,而不仅仅是将脚本上传到商店中的文件夹 . -
0 votesanswersviews
在复制大数据文件时Azure数据工厂失败
我正在使用 Azure Data Factory 将数据从 REST API 复制到 Azure Data Lake Store . 以下是我活动的JSON { "name": "CopyDataFromGraphAPI", "type": "Copy", "policy"... -
1 votesanswersviews
在Azure数据工厂中查找和预览Web活动:@Item()返回null
如下面链接所述,我首先触发Lookup . 它给了我电子邮件ID,然后对于每个电子邮件ID,我正在调用POST请求 . Iterating Through azure SQL table in Azure Data Factory 我在For each的设置中的项目中提到了@pipeline() . parameters.tableList . 我之后每次都设置了一个电子邮件通知来检查@pipel... -
2 votesanswersviews
数据工厂中的U-SQL作业失败
每当我运行 U-SQL Job 时,我一直收到来自Data Factory的错误 Job submission failed, the user 'adla account name' does not have permissions to a subfolder in the /system/ path needed by Data Lake Analytics. Please run “Ad...