-
1 votesanswersviews
调试u-sql Jobs
我想知道是否有任何提示和技巧可以在数据湖分析工作中找到错误 . 大多数情况下，错误消息似乎不是很详细 . 当尝试从CSV文件中提取时，我经常会收到这样的错误 顶点故障触发了快速作业中止 . 顶点失败：SV1_Extract [0]>>错误：顶点用户代码错误 . Vertex因失败快速错误而失败 在尝试将列转换为指定类型时，似乎会发生这些错误 . 我发现的技术是将所有列提取到字符串... -
0 votesanswersviews
错误ID：VertexFailedFast，错误消息：顶点失败并出现故障快速错误
当我运行下面的U SQL我得到“活动U-SQL1失败： 错误ID：VertexFailedFast，错误消息：Vertex因失败快速错误而失败 . “ 输入架构有7列 . 但我仍然得到这个错误 . 我也跳过第一行，因为它包含 Headers . DECLARE @file_set_path string ="/Sample_{*}.csv"; @searchlog = ... -
4 votesanswersviews
ADF触发ADL作业失败，出现语法错误
我正在尝试运行从Visual Studio中成功运行的作业 . 我想在我的ADF管道中运行它，但作业失败并出现语法错误 . ERRORID: E_CSC_USER_SYNTAXERROR SEVERITY: Error COMPONENT: CSC SOURCE: USER MESSAGE: syntax error. Expected one of: '[' end-of-file ... -
1 votesanswersviews
Azure Data Lake U-SQL作业失败并显示错误：JM_FinalMetadataOperationUserError
我一直在Azure Data Lake上运行U-SQL作业，更新分区表并且它们运行成功，但在“Finalizing”阶段失败并出现错误“JM_FinalMetadataOperationUserError”，堆栈跟踪如下： Object ec2d8ab3-6df5-48eb-9169-daec48bf27a6.DeployedLogs.dbo.ConcurrentRecord__1__System... -
2 votesanswersviews
当工作准备时间超过25分钟时，数据湖工作失败
我在Data Lake处理大约4000个csv文件的输入文件集，当作业准备时间超过25分钟时，作业失败并出现脚本编译错误 我们要求批量处理超过4000个csv文件，我听说微软有一个预览解决方案来处理输入文件集大小大到30,000个文件 -
0 votesanswersviews
DataLake Analytics USQL：无法比较数组中的两个元素
我在Data lake Analytics中创建了一个数据库 . 然后填充数据湖中文件的数据 . 当我查询我所做的表时，我有一些成功，但有些奇怪的错误 . （对我来说很奇怪！） 这有效：WHERE [Stamped Serial number] ==“000074O1”这不：WHERE [CTN Number] ==“000074-1” 错误： “代码生成期间发生了系统故障 . 无法比较数组中... -
2 votesanswersviews
顶点故障触发快速作业中止 - 数据提取期间抛出异常
我正在运行数据湖分析工作，在提取期间我收到错误 . 我在我的脚本TEXT提取器和我自己的提取器中使用 . 我尝试从包含两个以空格字符分隔的列的文件中获取数据 . 当我在本地运行我的脚本时，一切正常，但是当我尝试使用我的DLA帐户运行脚本时 . 我只有在尝试从包含数千行（但只有36 MB数据）的文件中获取数据时才遇到问题，对于较小的文件，一切都能正常工作 . 我注意到当顶点的总数大于提取节点的顶点时... -
2 votesanswersviews
ADLA XMLExtractor无法读取属性？
我一直在使用示例XMLExtractor（从https://github.com/Azure/usql/tree/master/Examples/DataFormats克隆）从我的xml元素中提取属性 . 如果根元素具有任何已定义的属性，则提取器将无法工作 . 例如，我需要从以下XML文件中获取“rec”元素的“sTime”属性： <lics xmlns="***" lV... -
0 votesanswersviews
从BCP CSV文件中提取U-SQL错误
我有使用BCP从SQL Server中提取的数据，该文件是ASCII CSV .日期为2016-03-03T23：00：00格式 . 当我运行提取物时 附加信息： {“diagnosticCode”：195887127，“severity”：“错误”，“组件”：“RUNTIME”，“source”：“User”，“errorId”：“E_RUNTIME_USER_EXTRACT_COLUMN_C... -
0 votesanswersviews
在Azure Blob存储中从DLL创建USQL程序集
我正在尝试从位于 Azure Blob Storage 的DLL创建Data Lake Analytics数据库程序集 . 根据USQL语言参考指南，这是可能的，虽然没有给出任何需要进入FROM引用的例子... https://msdn.microsoft.com/en-us/library/azure/mt763293.aspx 这是我的USQL代码段 . CREATE ASSEMBLY IF ... -
1 votesanswersviews
如何处理回车，在带引号的字符串中换行
我想使用Azure Data Lake处理的多个源系统包含回车符，列中包含换行符 . 这会导致ADLA中的Extract失败，并显示以下错误： E_RUNTIME_USER_EXTRACT_UNEXPECTED_ROW_DELIMITER 试图找到一个工作配置不再遇到这个问题 . Microsoft.com上的本机Extractor文档描述了这一点： 请注意，引用字符串中的rowDelim... -
0 votesanswersviews
如何从csv输入文件中包含ADLA中的所有列？
我在ADLA的输入数据文件中有300列 . 我需要包括整个数据集而不是几列 . @searchlog = EXTRACT UserId int , Start DateTime , Region string , Query string , Durati... -
2 votesanswersviews
USQL调用不带密钥读取json数组
我有一个嵌套的json，我试图在usql中展平 . 我无法共享数据，但结构与此类似 . { "userlist": [user1, user1], "objects": { "largeobjects": [object1, object2, object3] "smallobje... -
2 votesanswersviews
Data Lake Analytics：自定义输出器写入不同的文件？
我正在尝试为U-SQL编写一个自定义输出器，它根据一列中的数据将行写入单个文件 . 例如，如果列的日期为“2016-01-01”，则会将该行写入具有该名称的文件，并将下一行写入具有相同列中值的文件 . 我的目标是通过在输出器中使用Data Lake Store SDK来实现这一点，该SDK创建一个客户端并使用SDK函数写入单个文件 . 这是一个可行且可行的解决方案吗？ 我已经看到要为输出器重写的函... -
0 votesanswersviews
U-SQL列类型转换
我创建了一个U-SQL查询，它从DataLake Store获取输入文件并转换值 . 最终输出存储在DataLake Store中 . DECLARE @in string = "system/dbotable{*}.tsv"; DECLARE @out string ="system/temp.tsv"; @searchlog = EXTRACT... -
1 votesanswersviews
[U-SQL]] [FlexExtractor]我无法加入 . 表达式必须都是列
我正在使用Cortana Analytics Suite . 目前正在使用包含数百列的文件的visual studio数据湖分析项目分析Data Lake商店的数据 . 在阅读了u-sql文档后，我发现了一个flex提取器来帮助解决这个问题（百列） . flex flexctor与一张 table 完美配合 . 问题从加入表开始，我在编译时收到此错误： “错误E_CSC_USER_JOINCOL... -
0 votesanswersviews
在U-SQL中提取部分文件名时没有数据输出
当我从多个文件中提取并在字段列表和FROM子句中包含部分文件名时（例如FROM“/input/filename-{filedate:*} .nc”），生成的输出文件只包含一个 Headers 行 . 如果我从字段列表和FROM子句中删除“filedate”，我会得到正确的输出 . 我在工作图中注意到，当包含“归档”时，在“PodAggregate”步骤之前添加“空输入”和“提取交叉”步骤，并且在“... -
1 votesanswersviews
使用其他表从提取器过滤数据
我正在尝试使用csv自定义提取器从多个文件中提取数据，该提取器使用基于其他文件内容的过滤器 . 防爆 . Files.txt内容 file1 file4 目录结构 /file1/file.txt /file2/file.txt /file3/file.txt /file4/file.txt 我已将Files.txt内容解压缩到rowset @files，将目录中的文件解压缩到@filesDi... -
2 votesanswersviews
U-SQL中具有多个文件的多个目录，没有日期时间
我想使用没有日期时间的U-SQL从多个文件夹中读取多个文件 . 文件夹结构是 输入input1 file1.csv file2.csv input2 file3.csv -
0 votesanswersviews
使用U-SQL遍历文件夹
我正在尝试使用U-SQL读取文件的完整父目录，无论它在源目录结构中有多深 @searchLog = EXTRACT FileName string, , Path string , UserId int , Start DateTime , Region string , Query string , Duration int , Urls string , ClickedUrls string ... -
1 votesanswersviews
使用自定义JsonExtractor的gz的U-SQL提取失败
我在提取过程中遇到异常，同时尝试使用带有gzip压缩文件的 Microsoft.Analytics.Samples.Formats 库中的自定义 JsonExtractor . Microsoft.Cosmos.ScopeStudio.BusinessObjects.Debugger.ScopeDebugExceptionwasunhandledMessage: Anunhandledexcep... -
-2 votesanswersviews
u-sql脚本无法从数据集中获取标量值
在u-sql脚本中，我必须从文件中提取变量到数据集，然后使用它来形成输出文件的名称 . 如何从数据集中获取变量？ 详情 . 我有2个输入文件：带有一组字段和字典文件的csv文件 . 第一个文件的文件名如**** ClintCode ***** . csv . 第二个文件字典有2个带映射的字段：ClientCode - ClintCode2 . 我的任务是从文件名中提取ClientCode值，从... -
1 votesanswersviews
u-sql无法处理null
我正在尝试azure datalake，并试图在我的测试文件上测试u-sql . 这是我的测试脚本 @input = EXTRACT TagName string, time DateTime, valuee float, Quality int FROM "/... -
0 votesanswersviews
选择要从USQL中的CSV文件中提取的行
我正在尝试从CSV文件中提取几列 . 此文件每天都会替换，并且可以将列添加到文件中 . 我的问题是，每次更改列数我需要更新USQL代码...任何帮助？ @billing = EXTRACT id string, company string FROM @companydatafile USING Extractors.Cs... -
1 votesanswersviews
USQL查询大文件
我在Azure Data Lake商店中有一个非常大的文件（257 gb），当我昨天尝试对其进行简单的提取时，我收到以下错误 顶点运行超过5小时后终止 . 具有guid {2F8802B8-F93A-47EE-80E2-274590BD76A5}的顶点SV1_Extract_Partition [0] [53] .v0的输入大小为1.171594 GB . 在大多数情况下，这是由数据偏差引起的，... -
1 votesanswersviews
U-SQL语句中的动态FROM
我试图在U-SQL中生成动态FROM子句，以便我们可以根据以前的查询结果从不同的文件中提取数据 . 这是这样的： @filesToExtract = SELECT whatevergeneratesthepaths from @foo; <-- this query generates a rowset with all the file we want to extract like: [... -
1 votesanswersviews
如何定义日期范围，然后在USQL中查询复杂文件集？
单个文件中有很多很好的USQL示例 . 但是，您如何复制一个非常常见的数据处理示例，在该示例中，您希望获取当前系统时间，从该时间减去X天数并根据该结果查询一组数据？对于SQL示例： SELECT * FROM MyTable WHERE Date >= CAST(GETDATE() AS DATE) - 30 AND Date <= CAST(GETDATE() AS DATE) - ... -
0 votesanswersviews
USQL提取文件的子集
我有一个USQL问题 . 我有一个日常工作，即以下列格式将文件输出到目录 /MyOutput////file.csv 我现在有第二份工作要运行，它将使用第一份工作生成的最新30个文件 . 我无法弄清楚如何最好地做到这一点 . 我知道我可以在提取器中做通配符，但我不想提取所有文件，然后使用select / where去除我不想要的文件，因为提取所有文件可能会花费很多，如果我保持多年的 Value 文... -
1 votesanswersviews
在U-SQL中提取JSON行
我将数据存储为文件中每行的JSON对象 . 在U-SQL脚本中提取它的好方法是什么？ 我已经使用Text Extractor工作了（参见下面的代码）但是JSON对象变大了，我遇到了字符串的128KB大小限制 . 任何帮助将不胜感激 . 样本数据： { "prop1": "abc", "prop2": "xyz" } {... -
0 votesanswersviews
如何将大型JSON阵列文件加载到Azure Data Lake Analytics（ADLA）中
我被困在Azure Data Lake Analytics挑战中，正在寻求帮助 . Issue 我需要从Azure Data Lake加载一个文件，该文件包含大约150米的JSON数据行，存储为JSON对象数组 . 该文件大小约为110G . 当我尝试加载文件时，ADLA似乎挂起，几小时内“0％”进度，并且algebra.xml或其他文件没有状态更新 . 通过在线文档搜索，似乎ADLA仅限于“单个...