-
0 votesanswersviews
USQL JsonTextWriter.Writevalue抛出错误“类型'Uri'在未引用的程序集中定义”
我有一个自定义输出器用于我的USQL作业，它基本上使用JsonTextWriter将json输出写入文件中 . 我尝试编译时遇到以下错误 error: "The type 'Uri' is defined in an assembly that is not referenced. You must add a reference to assembly 'System, Version... -
1 votesanswersviews
U-sql在json数组中调用数据
我浏览了网页和论坛，从json文件中下载数据，但我的脚本不起作用 . 我在下载费率对象列表时遇到问题 . 有人可以帮忙吗？我找不到错 . {"table":"C","no":"195/C/NBP/2016","tradingDate":"2016-10-06","eff... -
0 votesanswersviews
U-SQL脚本调试错误
在调试U-SQL脚本时，我遇到了ScopeEngine的调试问题 . "ScopeEngine.pdb file contains the debug information required to find the source for the module ScopeEngine.dl" 有什么方法可以解决这个问题吗？ -
3 votesanswersviews
尝试转换列数据时值太长失败
Scenario 我有一个源文件，每个新行包含JSON块 . 然后我有一个简单的U-SQL提取如下，其中[RawString]表示文件中的每个新行，[FileName]被定义为@SourceFile路径中的变量 . @BaseExtract = EXTRACT [RawString] string, [FileName] string FROM... -
0 votesanswersviews
提取中的U-Sql错误
我们编写了一个USQL脚本来提取（.CSV文件），其中所有列都作为一行提取 . 但是，当作业失败时，我们无法处理所有文件 . 我们得到的错误消息是“VERTEX FAILED FAST”但是如果我们将文件格式转换为（.Csv）（MS-DOS）扩展名，则作业将被执行 . 有人可以找出问题并告诉我们如何解决它 . 或者将所有列提取为行的任何其他方式也会有所帮助 . 我们还附上了剧本 . $script... -
5 votesanswersviews
如何从ADF .NET自定义活动输出值
我有一个从Azure Data Lake Storage获取数据集输入的ADF，然后它有一个带有自定义.NET活动的管道 . 活动将文件从其Import文件夹移动到准备处理的自定义文件夹位置，然后删除原始文件 . 我希望能够将自定义文件夹位置传递回活动管道，以便我可以将其提供给下一个活动 . 有没有办法将自定义文件夹字符串输出到活动管道？ 谢谢， -
0 votesanswersviews
通过Azure Data Lake使用U-SQL嵌套JSON到CSV
Question 是否有更优雅的方法来解析下面的嵌套JSON文档示例？ 特别是@middle步骤，根据我的读数，我会认为JsonFunctions.JsonTuple（part_b，“rating”）在步骤3中的AS评级已经足够但它似乎不起作用，因此为什么我添加了@middle . sample.json { "listings": [ { ... -
1 votesanswersviews
Azure Data Lake上的U-SQL作业出错
我的Azure Data Lake帐户中有很多json文件 . 它们被组织为：存档 - >文件夹1 - > JSON文件 . 我想要做的是从每个json中提取一个特定的字段：timestamp然后将它放在一个csv文件中 . 我的问题是： 我从这个脚本开始： CREATE ASSEMBLY IF NOT EXISTS [Newtonsoft.Json] FROM "corr... -
1 votesanswersviews
命名列时出现U-SQL错误
我有一个JSON，其中字段的顺序不固定 . 即我可以 [A, B, C] or [B, C, A] 所有A，B，C都是json对象，其形式为{Name：x，Value：y} . 因此，当我使用USQL提取JSON（我不知道他们的顺序）并将其放入CSV（我将需要列名称）时： @output = SELECT A["Value"] ?? "0&qu... -
1 votesanswersviews
将JSON模式插入U-SQL表
我想在DataLake Analysts工具中为我的U-SQL表插入JSON模式 . 这是我的JSON架构 DECLARE @json string= "{ "definitions": {}, "$schema": "http://json-schema.org/draft-06/schema#&quo... -
1 votesanswersviews
Azure Data Lake Analytics上的E_RUNTIME_SYSTEM_ERROR
我正在对Azure Data Lake Analytics做一些基准测试 . 在执行阶段Combine_partition期间运行查询后，我收到错误： 错误E_RUNTIME_SYSTEM_ERROR消息已报告系统错误[VirtualAlloc返回0] 它看起来像内存异常 . 任何的想法？ Error -
3 votesanswersviews
Azure Data Lake Analytics中的内存限制
我已经为NetCDF文件实现了一个自定义提取器，并在输出之前将变量加载到内存中的数组中 . 有些数组可能很大，所以我想知道ADLA的内存限制是什么 . 您可以分配一些最大内存量吗？ -
1 votesanswersviews
如何在不使用ADF的情况下参数化USQL输入文件
我在ADLS中有一个输入文件夹，格式为年/月/日，例如：2017/07/11 . 我想将此输入文件夹作为参数传递给我的usql脚本 . 我没有使用ADF . 我不想从Usql脚本中生成当前日期，因为我不确定输入文件夹是否是当前日期 . 如何有效地做到这一点？ 我想到的一种方法是在我的所有输入文件夹上传到ADLS帐户后上传“完成”文件，并且“完成”文件将包含日期 . 但我无法使用该日期来形成我的输入... -
1 votesanswersviews
Azure Data Lake Analytics IOutputter获取输出文件名
我正在使用自定义IOutputter将我的U-SQL脚本的结果写入本地数据库： OUTPUT @dataset TO "/path/somefilename_{*}.file" USING new CustomOutputter() public class CustomOutputter: IOutputter { public Cust... -
1 votesanswersviews
Azure Data Lake Analytics数据库存储在哪里？
我通过运行Azure Data Lake for Visual Studio的U-SQL脚本创建了一个带有一些表的数据库（见下面的截图） . 该数据库是否存储在Data Lake Store中？ Azure门户中显示的文件结构 -
-1 votesanswersviews
Azure数据湖包
我们已尝试在Azure数据湖中创建包，但我们无法在Azure数据湖包中声明表值函数和过程，视图 . 如果您能提供代码，那么对我们非常有用 . -
1 votesanswersviews
Azure Data Lake Analytics中的U-SQL错误
我正在尝试在azure数据湖分析中执行一个简单的管道，但是我在使用U-SQL时遇到了一些麻烦 . 我想知道是否有人可以伸出援助之手 . 我的查询： DECLARE @log_file string = "/datalake/valores.tsv"; DECLARE @summary_file string = "/datalake/output.tsv";... -
2 votesanswersviews
Azure Data Lake Analytics：使用U-SQL组合重叠持续时间
我想使用U-SQL从Azure Data Lake Store中放置的CSV数据中删除重叠持续时间，并将这些行组合在一起 . 数据集包含开始时间和结束时间，每个记录包含几个其他属性 . 这是一个例子： Start Time - End Time - Usar Name 5:00 AM - 6:00 AM - ABC 5:00 AM - 6:00 AM - XYZ 8:00 AM - 9:00 AM... -
4 votesanswersviews
查询azure blob存储中的JSON数据
我们为项目使用azure blob存储，并将JSON字符串存储在blob容器中 . 出于某种目的，我们解析此JSON字符串以将其分解为行和列，然后在UI上的Grid控件中显示 . 网格控制在客户端提供过滤，分组等功能 . 但是，当数据很大时，这样的操作需要时间，因此UI变得无响应 . 因此，现在我们希望在服务器上执行此类操作，以便网格加载来自服务器的相关数据，而不是所有行 . 为此，我们认为我们需... -
0 votesanswersviews
如何处理或体系结构，Azure数据湖存储中的增量数据提取？
我有两个自定义代码dll，用于与IP摄像头相关的图像 . dll-One ：从IP摄像头中提取图像，并将其存储到Azure数据湖存储中 . Like ： / adls / clinic1 / patientimages / adls / clinic2 / patientimages dll-two ：使用这些图像并从中提取信息并将数据加载到RDBMS表中 . 因此，例如在RDBMS中... -
0 votesanswersviews
使用数据湖分析复制数据 - U-SQL
我有以下问题 . 我需要从ADLS（Azure数据湖存储）源复制到接收器ADLS，但只能复制最新的文件 . 每小时，到达源.csv文件，此文件必须复制到接收器数据湖 . 例如： event：Hour1 - file_01.csv到达源 . 任务：将file_01.csv复制到sink数据库 . event：Hour2 - file_02.csv到达源头 . 任务：将file_02.csv... -
0 votesanswersviews
Apache Alluxio可以在商店中使用Azure Data Lake吗？
我创建了一个带有Spark2.2和HDI 3.6的HDInsight集群，可以从Azure Data Lake读取数据 . 用户将在其上执行Spark-SQL，我想使用Alluxio作为缓存来加速查询 . 经过一些研究，我发现支持Azure Blob存储：http://www.alluxio.org/docs/1.7/en/Configuring-Alluxio-with-Azure-Blob-S... -
0 votesanswersviews
如何将azure blob文件复制到azure数据湖分析
有没有办法在Azure上创建作业或Azure服务以将Azure blob文件移动（剪切）到Azure数据湖存储？ -
1 votesanswersviews
使用Azure Data Lake Store .net SDK的Usql
您能否建议我可以将Usql与Azure Data Lake Store .net SDK一起使用 . 实际上我需要将一些文件上传到数据湖商店，所以我需要使用Azure Data Lake Store SDK，我还需要在Azure sql server数据库中添加一些记录 . 所以我创建了一个类库，我创建了一个函数将文件上传到Data Lake商店，如下面的链接所示：https://docs.mic... -
1 votesanswersviews
存储在数据湖存储中的文件的修改和到期时间
我正在使用Mircosoft提供的.NET API来获取存储在我的代码中的数据湖存储中的文件信息 . 这些文件由usqljob作业生成 . 当我使用以下声明时： m_adlsFileSystemClient.FileSystem.GetFileStatus(m_adlsAccountName,fileName).FileStatus.ModificationTime 然后它给了我自纪元以来的数字... -
1 votesanswersviews
Azure Data Lake Store作为Databricks中的EXTERNAL TABLE
如何在Azure Databricks中创建从Azure Data Lake Store读取的EXTERNAL TABLE？如果有可能的话，我在文档中看到了问题 . 我在Azure Data Lake Store的特定文件夹中有一组CSV文件，我想在Azure Databricks中创建一个指向CSV文件的CREATE EXTERNAL TABLE . -
16 votesanswersviews
无法从程序集加载“Microsoft.CodeAnalysis.BuildTasks.Csc”任务
我有一个TFS在线项目 . 当我试图构建项目时，我收到以下错误： 严重级代码说明项目文件行错误无法从程序集C：\ Users \ Bryan \ Source \ Workspaces \ TestProject \ ContosoUniversity \ packages \ Microsoft.Net.Compilers.1.0加载“Microsoft.CodeAnalysis.BuildT... -
0 votesanswersviews
SDK更新后无法编译U-SQL脚本
更新Azure SDK和Visual Studio的Data Lake工具（2.2.2）后，我的Data Lake Analytics（U-SQL）脚本停止了编译 . Microsoft示例仍然可以成功编译，因此我的项目一定有问题吗？ 错误输出： 无法找到错误元数据文件'C：\ Program Files％28x86％29 \ Reference Assemblies \ Microsoft \... -
0 votesanswersviews
Azure Data Factory U-SQL活动动态参数
让我们假设我有一个U-SQL脚本，它每隔一小时从ADF管道执行一次 . 我有mssql数据库，其中包含配置表 . 有没有办法从数据库中读取配置并将其传递给U-SQL脚本？在ADF docs我找不到任何办法 . 只有SliceStart，SliceEnd，但是如果我的参数是GUID的类型怎么办？ -
0 votesanswersviews
VSTS私有代理VSBuild
我有分析服务项目和USQL项目的解决方案 . 我的机器上安装了VS2015社区 . 该解决方案在我的机器上构建完美 . 接下来，我想为我的解决方案配置VSTS CI . 我尝试使用托管代理，但是抱怨它找不到如下组件： 无法构建obj \ x86 \ Development \ Model.asdatabase . 原因：无法加载文件或程序集'Microsoft.AnalysisService...