-
0 votesanswersviews
Azure Data Lake Analytics与Azure SQL数据仓库
我使用ADF连接到源并将数据导入Azure Data Lake存储 . 在将数据导入Data Lake Store之后,我想在SSRS报告中进行一些转换,聚合和使用这些数据,以及创建多维数据集 . 任何人都可以建议我哪个是最佳选择(Azure Data Lake Analytics或Azure SQL DW)? 我在这里寻找决定采取Data Lake之后的哪一个 . -
2 votesanswersviews
错误VertexFailedFast . 顶点故障触发了快速作业中止
我正在运行Data Lake - Analytics工作,我收到以下错误 错误VertexFailedFast . 顶点故障触发了快速作业中止 . 顶点失败:SV1_Extract [0] [0],错误:顶点用户代码错误 . 说明Vertex因失败快速错误而失败 有人知道为什么会这样吗? -
2 votesanswersviews
Usql - 由于内部系统错误导致作业失败 - NM_CANNOT_LAUNCH_JM
我收到以下系统错误, 活动错误:[{“errorId”:“E_SYSTEM_NM_NMCANNOTLAUNCHJM”,“name”:“NM_CANNOT_LAUNCH_JM”,“严重性”:“错误”,“来源”:“系统”,“组件”:“NM”,“消息”: “由于内部系统错误导致作业失败 . ” ,“details”:“”,“description”:“”,“resolution”:“”,“helpLin... -
0 votesanswersviews
U-sql错误json
我正在尝试从Data Lake存储中提取数据,这些数据保存在json中 . 当我尝试提交脚本时,我收到错误: 顶点故障触发了快速作业中止 . 顶点失败:SV1_Extract [0]出错:顶点用户代码错误 . 我将添加我使用的:https://github.com/Azure/usql/tree/master/Examples/DataFormats/Microsoft.Analytics.S... -
0 votesanswersviews
Azure Data Lake Analytics IOutputter E_RUNTIME_USER_ROWTOOBIG
我正在尝试将自定义IOutputter的结果写入本地磁盘上的中间文件 . 之后我想将数据库文件(~20MB)复制到adl输出存储区 . 可悲的是,脚本终止于: Microsoft.Cosmos.ScopeStudio.BusinessObjects.Debugger.dll中出现未处理的“Microsoft.Cosmos.ScopeStudio.BusinessObjects.Debugger.... -
0 votesanswersviews
如何使用Azure Blob存储连接到Azure Data Lake Analysis
您好我使用Azure Data Lake Analysis分析系统日志 . 而且,我遇到了从Data Lake Analysis(U-SQL)连接Blob存储的问题 此U-SQL显示从blob存储读取文件 在启动这个U-SQL之前,我创建了test2 blob存储和testcon容器 (并设置访问策略) @searchlog = EXTRACT UserId int, ... -
0 votesanswersviews
Azure应用程序无法访问数据湖存储中新创建的文件
我编写了控制台应用程序来监视/分析Azure数据湖存储中的文件 . 我在Azure活动目录中创建了一个应用程序来访问azure资源 . 我已按照here给出的所有步骤访问azure data lake store上的应用程序 . 我已经提供了对父湖和数据湖商店的所有childern文件夹/文件的访问权限 . 现在,我可以通过我的代码访问这些文件 . 我试图通过在代码中使用 DataLakeStor... -
1 votesanswersviews
Azure Data Lake分析CI / CD
我正在尝试为Azure Data湖分析构建CI / CD - USQL代码,当我使用VSTS中的Visual Studio构建选项构建代码时出现以下错误 - 使用私有代理进行构建 - C:\ Users \ a.sivananthan \ AppData \ Roaming \ Microsoft \ DataLake \ MsBuild \ 1.0 \ Usql.targets(33,5):... -
-2 votesanswersviews
Azure Data Lake分析CI / CD - 构建错误
我正在尝试为Azure Data湖分析构建CI / CD - USQL代码,当我使用VSTS中的Visual Studio构建选项构建代码时出现以下错误 - 使用私有代理进行构建 - C:\ Users \ a .sivananthan \ AppData \ Roaming \ Microsoft \ DataLake \ MsBuild \ 1.0 \ Usql.targets(35,7... -
3 votesanswersviews
Data Lake Analytics U-SQL EXTRACT速度(本地与Azure)
一直在考虑使用Azure Data Lake Analytics功能来尝试和操作我存储在Azures Blob存储中的一些Gzip的xml数据,但我遇到了一个有趣的问题 . 本质上,当在本地使用U-SQL处理这些xml文件中的500个时,处理时间非常快,在本地使用1 AU大约需要40秒(这似乎是限制) . 但是,当我们使用5 AU在Azure中运行相同的功能时,处理需要17分钟 . 我们最终想要将... -
0 votesanswersviews
Azure Data Lake分析作业无法从Data Lake store读取数据
我有一个CSV文件从Azure blob复制到Azure数据湖商店 . 管道线成功 Build 并复制文件 . 我正在尝试从这里编写USQL示例脚本: 首页 - > datalakeanalysis1->示例脚本 - >新工作 它显示我的默认脚本 . //Define schema of file, must map all columns @searchlog = ... -
1 votesanswersviews
表重建时出现U-SQL错误
当我在一个存储过程中调用ALTER TABLE REBUILD并尝试同时在另一个存储过程中调用数据时发生错误 . CREATE PROCEDURE IF NOT EXISTS RebuildContent() AS BEGIN INSERT INTO dbo.Log (Date, Message) VALUES ( DateTime.UtcNow, "Starting Conte... -
0 votesanswersviews
在多个文件中管理U-SQL脚本并将其作为单个作业运行
我们编写了一个大型U-SQL脚本,它由几个相互依赖的代码单元组成 . 它可以作为单个U-SQL作业运行 . 顺便说一句,我们将这项工作作为Azure Data Factory活动运行 . 我们希望将此脚本划分为多个U-SQL脚本,每个脚本包含一个单元,以便更好地进行维护和测试 . 通过这种方式,我们将能够对脚本的各个单元进行单元测试 . 但如果我们这样做,我们就面临另一个问题 . 在多个脚本的情况... -
2 votesanswersviews
如何在ADF中安排U-SQL过程?
我在Azure数据湖中使用U-SQL创建了一个存储过程 . 我想在Azure数据工厂中安排该存储过程 . 可能吗?我试过以下步骤: 我在Azure Data Lake中使用U-SQL创建了一个存储过程 . 我创建了一个执行相同过程的脚本 . 现在,我正在尝试从ADF运行该U-SQL脚本 . 这是执行U-SQL存储过程的正确方法吗? -
3 votesanswersviews
是否可以在Azure Data Factory中使用U-SQL托管表作为输出数据集?
我有一个小的ADF管道,可以将一系列文件从Azure存储帐户复制到Azure Data Lake帐户 . 作为管道中的最后一个活动,我想运行一个U-SQL脚本,该脚本使用复制的文件作为输入,并将结果输出到U-SQL托管表 . U-SQL脚本基本上从复制的文件中提取数据,应用一些转换,然后将其INSERT到现有的U-SQL托管表中 . 如何(如果可能)可以将U-SQL表添加为Azure数据工厂中的输... -
0 votesanswersviews
使用Azure Data Factory从C#代码运行U-SQL脚本
我试图通过C#代码在Azure上运行U-SQL脚本 . 在执行代码之后,所有内容都在azure(ADF,链接服务,管道,数据集)上创建,但ADF不执行U-SQl脚本 . 我认为管道代码中配置的startTime和end Time存在问题 . 我按照以下文章来完成此控制台应用程序 . Create, monitor, and manage Azure data factories using Da... -
1 votesanswersviews
ADF V2中的USQL活动 - 2705用户无法访问datalake商店
使用Azure Data Factory V2运行U-SQL脚本时遇到问题 . 这个U-SQL脚本在门户网站或vs中运行良好: @a = SELECT * FROM (VALUES ("Contoso", 1500.0, "2017-03-39"), ("Woodgrove", 2700.... -
0 votesanswersviews
使用U-SQL加载CSV工作正常,但选择不起作用
我正在阅读一个csv文件 @serch= EXTRACT col1 int, col2 string, col3 string FROM @"/datalake/in/in.csv" USING Extractors.Csv(); OUTPUT @serch TO @"/datal... -
0 votesanswersviews
在azure数据湖上处理多个文件
假设azure data lake store上有两个文件集A和B. /A/Year/ /A/Month/Day/Month/ /A/Year/Month/Day/A_Year_Month_Day_Hour /B/Year/ /B/Month/Day/Month/ /B/Year/Month/Day/B_Year_Month_Day_Hour 我想获得一些值(比如说实体的DateCreated... -
0 votesanswersviews
U-SQL:模式化输入文件
如何在U-SQL脚本中使用模式化输入文件?也就是说,如何使用多个文件作为EXTRACT子句的输入? 根据 https://msdn.microsoft.com/en-us/library/azure/mt621320.aspx?f=255&MSPPError=-2147217396 和 https://social.msdn.microsoft.com/Forums/en-US/0ad56... -
0 votesanswersviews
自定义并行提取器 - U-SQL
我尝试创建一个自定义并行提取器,但我不知道它是如何正确的 . 我有一个大文件(超过250 MB),每行的数据存储在4行 . 一列的一个文件行存储数据 . 这可以为大文件创建工作并行提取器吗?我担心文件拆分后,一行的数据会在不同的范围内 . 例: ... Data for first row Data for first row Data for first row Data for first r... -
3 votesanswersviews
USQL - 如何在USQL中选择两个字符串行之间的所有行
这是我完整的任务描述: 我必须使用u-sql从多个文件中提取数据并将其输出到csv文件中 . 每个输入文件都包含多个基于某些字符串行的报告(“START OF ...”和“END OF ...”作为报告分隔符) . 以下是单个源(输入)文件的示例(数据格式): START OF DAILY ACCOUNT some data 1 some data 2 some data 3 some data ... -
3 votesanswersviews
配置输入和输出文件夹位置的文件
我有多个U-SQL脚本,我在每个U-SQL脚本的顶部使用filename变量 . 有没有办法我们可以将输入和输出文件夹定义到任何配置文件并读取该变量,常量或任何与 Extract 和 OUTPUT 一起使用它们的东西 @tab1 = EXTRACT f1 string, f2 string FROM **<path from config file&... -
1 votesanswersviews
ADLA错误预览外部表到SQL Azure
我在SQL Azure中有一个表,我正在尝试在Azure Data Lake Analytics中创建一个指向它的外部表 我创建了一个凭据和数据源,我可以确认它们是否有效,因为我可以查看其他外部表 . 但是,当我尝试预览此特定表时,我收到以下错误: Failed to connect to data source: 'MYDATASOURCE', with error(s): 'Incorrect... -
1 votesanswersviews
如何在USQL中定义多个输入文件模式?
我有U-SQL脚本,我需要处理一些数据 . 数据存储在blob中,在此文件夹结构中每天约有100个文件: /{year}/{month}/{day}/{hour}/filenames.tsv 获取一天的数据很容易,最后只需添加一个通配符,它将选出当天所有小时的所有文件 . 但是,在我的脚本中,我想要读出当天和前一天的最后2个小时 . 天真的方式是以这种方式使用3个提取语句: DECLARE @in... -
2 votesanswersviews
根据间隔配置Azure数据工厂管道中的动态参数数量?
我们的用例需要通过Azure Data Factory将可配置输入传递给U-SQL脚本 . 我们正在评估可行性,并且需要根据活动时间片的间隔自动化传递给U-SQL脚本的变量数 . 例如,如果要每4小时运行一次U-SQL脚本,则需要从4个不同的文件中读取数据,每小时一个 . 如果间隔更改为5小时,我们需要自动执行此操作,以便它可以自动从5个不同的文件中读取,而无需更新U-SQL脚本 . 文件路径的格... -
1 votesanswersviews
从Azure中的Data Factory在ADL存储中执行U-SQL脚本
我有一个存储在我的ADL商店的USQL脚本,我正在尝试执行它 . 脚本文件非常大 - 大约250Mb . 到目前为止,我有一个数据工厂,我已经创建了一个链接服务,我正在尝试创建一个Data Lake Analytics U-SQL活动 . 我的U-SQL Activity的代码如下所示: { "name": "RunUSQLScript1", "p... -
1 votesanswersviews
Data Factory v2:Data Lake增量复制活动
在我的 Azure Data Lake 目录 ingest 中,我有时间戳命名的子目录: ingest/1510395023/file.tsv ingest/1510425023/file.tsv ingest/1510546210/file.tsv ... 在 Azure Data Factory v2 复制活动(Data Lake到SQL Server)中,如何将Data Lake目录过滤到... -
1 votesanswersviews
使用Azure Data Factory获取分页数据
我在Azure Data Factory V2中创建了一个Pipeline . 它将从Rest API复制数据,并以Azure Data Lake中的JSON文件的形式保存此数据 . 然后我使用U-SQL转换该JSON文件并将该数据复制到.csv格式的另一个文件夹中 . 我的管道 . 请参阅以下管道图像 . Rest API将数据返回JSON格式 . { "data"... -
0 votesanswersviews
在复制大数据文件时Azure数据工厂失败
我正在使用 Azure Data Factory 将数据从 REST API 复制到 Azure Data Lake Store . 以下是我活动的JSON { "name": "CopyDataFromGraphAPI", "type": "Copy", "policy"...