-
0 votesanswersviews
我们不能使用USQL自定义代码和usql上传文件/图像吗？
Situation ：我们在Azure数据湖分析中创建了数据库说"CLSTrackOMeter"和表格"Customer_Information" . Customer_Information，将图像路径存储在staging文件夹中（现在我已经硬编码了类库中的源图像路径） . Agenda ：使用CustInfo中的该值将数据上载到Azure数据湖存储&qu... -
0 votesanswersviews
以编程方式获取USQL作业的输入和输出文件大小
在USQL作业详细信息（在UI中）我可以看到它显示所有输入和输出文件名及其大小 . 我想从C＃中读取这些信息 . 我在adl：//bswadls..net/system/jobservice/jobs/Usql/2017/10/29/09/58//query.abr中了解到它有文件名和streamize的信息 . 对于输入，我可以看到文件名和流大小但是对于输出文件，我没有看到streamize .... -
1 votesanswersviews
在Azure上的HDInsights群集上使用Data Lake或Blob
在Azure中创建HDInsights Hadoop集群时，有两个存储选项 . Azure Data Lake Store（ADLS）或Azure Blob存储 . 这两个选项之间的真正区别是什么？它们如何影响性能？ 我发现这个页面https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-w... -
1 votesanswersviews
USQL输出器写入SQL数据库
我们有一个Azure进程调用API并获取json文件 . 我们将这个json存储在Data Lake Store上 . 然后我有一个读取该文件的USQL活动，我想将该数据存储在Azure上的SQL服务器数据库上（不要与Data Lake Analytics数据库混淆：我们的目标是常规SQL数据库） . 我不能（我不确定它是如何通过谷歌搜索找到任何关于如何做到这一点 . 我找到的是this arti... -
1 votesanswersviews
JSONPath：使用键和值提取单个dict
我有一个在Azure Data Lake环境中运行的U-SQL应用程序 . 它应该处理一个充满JSON数据的文件，看起来像这样，除了在现实生活中超过两行 . [ {"reports" : {"direction": "FWD", "drive": "STOPS", "frob_variab... -
7 votesanswersviews
使用Azure Data Lake Analytics与传统ETL方法的原因
我正在考虑使用我最近几周一直在研究的Data Lake技术，与传统的ETL SSIS方案相比，我已经使用了这么多年 . 我认为Data Lake与大数据密切相关，但使用Data Lake技术与SSIS之间的界限在哪里？ 在25MB~100MB~300MB文件中使用Data Lake技术有什么优势吗？并行？灵活性？未来可扩展吗？当要加载的文件没有U-SQL最佳场景那么大时，是否有任何性能提升....... -
1 votesanswersviews
Azure Data Lake Store - 远程主机强制关闭现有连接
我使用DataLakeStoreFileSystemManagementClient类从Data Lake Store读取文件 . 我们用这样的代码为文件打开一个蒸汽，逐字节读取并处理它 . 这是一个特殊情况，我们不能使用U-SQL进行数据处理 . m_adlsFileSystemClient = new DataLakeStoreFileSystemManagementClient(…); re... -
2 votesanswersviews
使用gzip和虚拟列的u-sql问题
我对处理压缩文件的u-sql作业有一个奇怪的问题 . 如果我在普通的csv文件上运行u-sql它工作正常 . 但是，如果我gzip文件它再也没有工作（生成E_RUNTIME_USER_EXTRACT_ENCODING_ERROR：在顶点'输入拆分中处理0条记录后发生编码错误 . ） 所以有效的代码是 DECLARE @path string = "output/{ids}/{*}.csv... -
-1 votesanswersviews
Delta Processing（并行执行问题）
Scenario: 我们有“ employees_final ”ADLA目录/表 . 来自不同位置的用户将通过ADF调用U-SQL将员工数据加载到“ employees_final " ADLA catalog/table " in parallel ” . 当用户加载数据时，它首先进入临时表（ employees_staging ） . 如果现有记录有更新，那么我们将在登... -
0 votesanswersviews
数据湖中的交易数据
我们有多个源系统发送数据 . 理想情况下，我们应该捕获来自源的原始数据并将其保存在数据湖中 . 然后我们必须将原始数据处理成结构化格式 . 现在，用户可以通过前端应用程序更新此数据 . 我正在考虑将rdbms放在处理过的数据之上，然后将审计跟踪从rdbms拉到数据湖，并合并处理过的数据和审计跟踪，以创建报告的最终视图 . 或者rdbms也可以用于分析 . 或者我们可以引入rdbms中的所有数据并运... -
0 votesanswersviews
当代码在Spark shell中工作时，spark-submit不能引用“--jars”指定的jar？
我使用intelliJ创建了一个sbt项目 . 我在项目的 lib 文件夹中复制了所需的jdbc jar sqljdbc42.jar . sbt package 圆满结束 . 我在 Windows 的 spark-shell --driver-class-path C:\sqljdbc_6.0\enu\jre8\sqljdbc42.jar 开始了火花 . import org.apache... -
0 votesanswersviews
是什么导致USQL中的JSON反序列化达到字符串限制？
我有许多（500）JSON文件，我正在使用USQL在ADLA中处理，我做的第一件事就是使用Microsoft.Analytics.Samples.Formats.Json JsonExtractor从每个文件中提取数据 . 大多数（80％？）的文件都很好，包括最大的文件，但有些失败了，我不知道为什么 . 这是失败的代码的最小示例： REFERENCE ASSEMBLY [Newtonsoft.Js... -
1 votesanswersviews
具有默认值的列 - usql
我正在生成我的usql脚本动态读取表模式 . 我在data lake store上有现有的tsv文件，我需要将新数据附加到那些现有的tsv文件中 . 但是当我生成usql脚本时，表模式可能会发生变化，表可能会添加额外的列 . 据我所知，我们需要在usql脚本中使用与tsv文件中相同数量的列 . 是否可以使这些新添加的列具有一些默认值？例如 @Result = EXTRACT id strin... -
2 votesanswersviews
部署USQL项目
我是数据湖分析和使用USQL的新手 . 我目前正在设置数据工厂管道，它将取代现有的SSIS工作流程 . 数据工厂管道本质上是 将数据事务数据库提取到ADLS中 使用USQL转换原始实体 使用自定义活动将数据加载到SSAS中 问题 我有一个USQL项目设置，如果有一种标准的方式将它们部署到ADLA，而不仅仅是将脚本上传到商店中的文件夹 . -
-1 votesanswersviews
JSON提取到CSV
我在大型JSON文件的每一行中有多个嵌套数据项 . JSON文件中一行的示例：{“Key1”：{“Key2”：“value2”}，{“Key3”：{“Key4：”Value4“}}}} 该文件大小近2GB，我需要将其转换为CSV . 所以，这里有两个主要问题： 如何以二维CSV格式表示n维数据？ 即使我想出了一种用CSV表示数据的方法，我该如何从JSON转换它？ 任何想法将不胜感激 .... -
0 votesanswersviews
将groovy贴图的键值对转换为JSON数组元素
如何获取groovy map的键/值对值并循环到groovy中的JSON数组元素？ 例如： Input ： def childmap = [“data1”：“123”，“data2”：“234”，“data3”：“456”] def childmap2 = [“data4”：“123”，“data5”：“234”，“data6”：“456”，“date7”：“676”] def parentmap... -
0 votesanswersviews
JSON在Java中嵌套PII数据屏蔽
我需要屏蔽以下JSON数据：给定JSON： { "key1":"value1", "key2":"value2", "key3": { "key4":"value3" ... -
4 votesanswersviews
Chill-kryo的例外情况
我试图从这个link运行Chill-Scala的示例代码 我有两个虚拟案例类 一个是用户 @SerialVersionUID(1) case class User(name :String, age : Int) extends Serializable 另一个是学生 @SerialVersionUID(2) case class Student(sub : String , id : Int ... -
1 votesanswersviews
Scala中的通用Json解析
我有一个通用的JSON，其中所有键和值都是字符串 . 例1： [ { "key1": "value1" }, { "key1": "value2" } ] 但是JSON也可以是：例2： [ { "key1": "value1", ... -
1 votesanswersviews
如何将JSON文件上载到Azure Data Lake表
我是ADL和JSON文件的新手 . 我正在尝试将JSON文件加载到ADL表中 . 我的JSON文件结构是 {ABCD:{Time:"", Date:"", ProcessingTime:"", ProcessName:""}}, {ABCD:{Date:"", ProcessingTime:&quo... -
0 votesanswersviews
如何标准化USQL的输出
我们要求标准化USQL的输出 . USQL读取JSON（源文件）数据并将其转换为csv格式 . 问题是，由于源中缺少数据，csv中每行的列数不同 . 有时，USQL的结果集在csv中有一行带有“N”列，另一行带有“N 1”列（单元格） . 我们想标准化输出，在所有行的csv中具有相同的数字列 . 我们如何实现这一目标？我们对源文件数据没有任何控制权，我们需要在处理时进行标准化 . 有没有人遇到类... -
1 votesanswersviews
发送短信Android时出错
我正在尝试创建一个简单的应用程序，可以从我的Android手机发送短信到另一部手机，但目前我正在使用模拟器 . 我得到的问题是该应用程序意外停止 . 我看着我的logCat，我注意到我得到了这一行 12-13 23：36：49.611：ERROR / AndroidRuntime（29001）：java.lang.SecurityException：发送短信：用户10131没有android.p... -
1 votesanswersviews
在执行onStartCommand时，Android系统是否可以杀死服务？
onStartCommand 返回的不同标志指定在 onStartCommand 返回后应如何重新启动服务， START_NOT_STICKY 标志的documentation表示： 从onStartCommand（Intent，int，int）返回的常量：如果此服务的进程在启动时被终止（从onStartCommand（Intent，int，int）返回后），并且没有新的启动意图要传递给它，然后... -
0 votesanswersviews
Acceleromter服务不适用于Android TV Box
我正在开发一个在后台运行Accelerometer服务的应用程序 . 在此Accelerometer服务中，我从服务器获取数据 . 但该应用程序在手机上运行良好，但它不适用于Android TV Box . 这是代码 public class AccelerometerService extends Service implements SensorEventListener { ... -
0 votesanswersviews
Android：2.3.6主要线程阻塞当我请求在Activity.onCreate方法中启动两个服务时
我正在开发一个应用程序，我需要在应用程序启动时启动后台服务 . 最初我在Application.onCreate（）方法上添加了第一个服务的启动过程 . 之后，我意识到如果用户因任何原因停止了后台线程，我需要重新启动该服务 . 因此，我将服务启动代码从Application.onCreate（）移动到主要的Activivity.onResume（） . 根据文档，在已经运行的服务上调用startS... -
1 votesanswersviews
服务未正确关闭
我有一个Android应用程序，它使用此命令在主活动中启动服务： bindService(new Intent(ctx, MyService.class), _connection, Context.BIND_AUTO_CREATE); 主要的活动对这项服务没有任何兴趣（这就是为什么我没有提供服务连接的代码） . 这个想法是主要的活动是服务寿命！ 在用户点击我的应用的“关闭”按钮后，它会使用此代... -
1 votesanswersviews
取消绑定后服务会被破坏
我有一个返回START_STICKY onStartCommand的服务，并且由应用程序的onCreate上的startService启动，在我的活动中，我可以互换地绑定到这个服务，但由于某种原因，每次我的所有活动解除绑定时服务都会被销毁，但我可以保证自己停止自己\ stopService从未被调用过 . 可能是什么原因？ -
2 votesanswersviews
Android服务的START_STICKY标志的精确语义
不知何故，我很难解析 START_STICKY 标志的official description： 从onStartCommand（Intent，int，int）返回的常量：如果此服务的进程在启动时被终止（从onStartCommand（Intent，int，int）返回后），则将其保留在启动状态但不保留这意味着什么 . 稍后系统将尝试重新创建服务 . 因为它处于启动状态，所以它将保证在创建新服务... -
1 votesanswersviews
需要一个Android服务来运行
我一直在寻找，但我仍然无法找到解决方案 我在onStartCommand中有一个返回Start_Sticky的服务，它将在onDestroy服务方法中启动 . 我虽然这已经足够了，因为我的服务将被用户停止，因此将调用onDestroy方法 . 或者由android停止，然后由于Start_Sticky，android会在杀死它后重新创建它，但是android在杀死之后不会启动我的服务 . 所以我使... -
8 votesanswersviews
在销毁应用程序时停止服务
我现在很困惑，关于运行和停止的服务概念： 我想做的事： 在应用程序一开始就启动位置服务 . 继续获取位置更新，并将 store 获取为共享首选项 在 onDestroy of Application scope! 停止服务 到目前为止，我已经搜索和研究过我们只能做服务的事情（如果我错了，请纠正我）： 通过将服务绑定到相关的活动/片段/视图来自动停止服务，当它们全部销毁服务时自动...