-
0 votesanswersviews
从Oracle DB读取时,Date(数据类型)到TimeStamp(数据类型)的转换不正确
我们试图从Oracle表中读取数据,“基于日期”的数据类型被转换为“时间戳”数据类型 . 例如:表是Oracle . desc hr.employees; Name Null? Type ----------------------------------------- EMPLOYEE_ID NOT NULL NUMBER(6) FIRST_NAME VARCHAR2(20) LAST_NAME... -
8 votesanswersviews
SLF4J初始化 - 替代 Logger
我正在Scala中做一个项目,我正在使用带有Logback的slf4j进行日志记录 . 现在,日志记录初始化似乎不是线程安全的 . 作为一种解决方案,slf4j正在创建替代 Logger ,即NoOp-loggers,它吞下初始化期间生成的日志语句 . The slf4j homepage就此问题表示: 替代记录程序是在底层日志记录系统的默认配置阶段创建的 . 高度可配置的日志记录系统(如lo... -
193 votesanswersviews
什么Scala Web框架可用? [关闭]
我想要实现的是一个很小的Web应用程序 . 去年我一直在使用Erlang来实现服务器端软件,但我以前从未编写过Web应用程序 . 这将是一次很棒的经历 . 除了Lift之外,还有Scala的Web框架吗? 不要误会我的意思,Lift看起来很棒 . 我只是想知道有多少框架,以便我可以在它们之间进行选择 . 选择总是一件好事,但我发现的唯一一件事是Lift . -
4 votesanswersviews
Golang中的AES加密和Java中的解密
我有以下用Golang编写的AES加密函数 . func encrypt(key []byte, text string) string { plaintext := []byte(text) block, err := aes.NewCipher(key) if err != nil { panic(err) } ciphertext ... -
260 votesanswersviews
Scala中的apply函数是什么?
我从来没有从设计的解组和修饰名词中理解它(一个 AddTwo 类有一个 apply ,它增加了两个!)的例子 . 我理解它是语法糖,所以(我从上下文推断)它必须设计成使一些代码更直观 . 具有 apply 函数的类有什么意义?它用于什么,以及它使代码变得更好的目的(解组,修改名词等)? 在伴侣对象中使用时如何帮助? -
4 votesanswersviews
Scala模糊与无人函数调用
请原谅长时间的设置 . 这个问题与Scala: ambiguous reference to overloaded definition - best disambiguation?有关,但未得到答复 . 我对Scala很陌生,有一件让我失望的事情就是Scala: 具有一流的功能 在使用没有任何括号参数列表的对象点表示法时调用函数(就好像函数是属性一样) 这两种语言功能令我感到困惑 .... -
1 votesanswersviews
等价于getLong的TimestampType / java.sql.Timestamp?
我试图使用scala从火花流数据帧中提取值,其代码如下: var txs = spark.readStream .format("kafka") .option("kafka.bootstrap.servers",KAFKABS) .option("subscribe", "txs") .load() tx... -
0 votesanswersviews
通过在深层嵌套xml架构中访问ArrayType来平滑Spark中的DataFrame
我试图展平深层嵌套的XML架构 . 我发现下面的解决方案适用于structType Automatically and Elegantly flatten DataFrame in Spark SQL 但我试图压缩的模式包含ArrayType,并且我无法解析那些访问深层嵌套标签的模式 . 需要帮助编写/修改甚至访问ArrayType和StructType的类似函数 这是我试图压扁的架构的一小部分 ... -
4 votesanswersviews
Scala REPL“错误:值>不是类型参数T的成员”
这是我的档案 trait Set[T] { def contains(x: T): Boolean def incl(x: T): Set[T] def union(that: Set[T]): Set[T] } class Empty[T] extends Set[T] { override def toString = "." de... -
0 votesanswersviews
在spark Dataframe中使用arraytype
我的要求是将DataFrame中的所有Decimal数据类型转换为String . 逻辑工作正常,类型简单但不适用于ArrayType . 这是逻辑: - var df = spark.sql("select * from test_1") for(dt <- df.dtypes) { if(dt._2.substring(0,7) == "Decimal&... -
0 votesanswersviews
具有文件源和文件接收器的Spark结构化流中出错
我的团队现在正在进入结构化流媒体领域 . 我对结构化流媒体比较陌生 . 我有一个要求 来源 - CSV接收器 - JSON 环境详情: 集群:Spark 2.2.1编程语言:Scala构建工具:Gradle 范围: 我已经实现了这个简单的代码 val schema = StructType( Array(StructField("customer_id", Stri... -
-2 votesanswersviews
在scala中遍历两个数组
我很难理解Scala数组中的循环遍历 . 我有两个数组,并希望用两个指针迭代它们 . 一个指针从第一个数组的开始开始 . 第二个指针从第二个数组的结尾开始 . 当两个指针的元素满足条件时,我想从循环中断开 . 一次,我移动任何循环的一个指针 . 有人可以帮我解决这些问题 . I m trying to solve the problem here :http://www.geeksforgeeks... -
1 votesanswersviews
将ANORM SELECT参数设置为null
我正在尝试执行SELECT语句,其中参数可能具有空值: SQL( """ SELECT id FROM devices WHERE name = {name} """) .on("name" -> device.name)() .collectFirst... -
3 votesanswersviews
Flink没有给kafka提供补偿
我有一个flink流媒体作业,它正在从kafka读取数据并只记录它 . 我启用了检查点 . 我无法在 Kafka 中看到提交的偏移量,而是在低于误差 . 任何帮助都很受欢迎 . {$KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group f... -
2 votesanswersviews
在选项[Seq [T]]上使用 Map
我有一个选项[Seq [T]],当然可以包含Seq [T]或者确实可以包含无 . 我已经被警告不要使用.get但是如果Option是None,我如何使用map返回预期填充的Seq [T]或空List() . 我已经设法使用模式匹配,想知道是否有一种方法来使用map来实现相同的目标 . 谢谢! val maybeProducts:Option[Seq[Product]] = {....} val ... -
0 votesanswersviews
将Seq [A]转换为Map [Int,Seq [A]]
如何将Seq [A]转换为Scala中的Map [Int,Seq [A]],其中Int的值是A的一个参数(以函数方式)? 例: val futures: Seq[Future[Seq[A]]] = ??? val gathered = Future.collect(futures) gathered.map { res => { val myseq:Seq[A] = r... -
1 votesanswersviews
Spark - 线程“main”中的异常java.lang.NoSuchMethodError:scala.reflect.api.JavaUniverse.runtimeMirror
我正在使用Scala 2.11.8并使用maven在IntelliJ中构建jar文件 我在mobaxterm中运行我的程序: /opt/spark-1.6.1-bin-hadoop2.6/bin/spark-submit --class CDR.SQL cdr-maven-1.0-SNAPSHOT.jar 这是错误消息: 线程“main”中的异常java.lang.NoSuchMethodEr... -
0 votesanswersviews
spark-submit命令包括mysql连接器
我有一个scala对象文件,它在内部查询mysql表做一个连接并将数据写入s3,在本地测试我的代码它运行得很好 . 但是当我将它提交到集群时,它会抛出以下错误: 线程“main”java.sql.SQLException中的异常:在org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils $$ anonfun的java.sql.Drive... -
0 votesanswersviews
无法构建一个scala程序“sbt包”在线程“main”java.sql.SQLException中出现异常失败:没有合适的驱动程序
我使用IntelliJ(sbt项目)创建了以下测试Scala程序 . import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import java.sql._ object ConnTest extends App { val ... -
0 votesanswersviews
在spark scala中保存Xgboost模型的问题
我在火花scala中训练了一个xgboost模型,如下所示: val xgbParamGrid = new ParamGridBuilder() .addGrid(xgb.maxDepth, Array(5, 10)) .addGrid(xgb.maxBins, Array(2)) .addGrid(xgb.minChildWeight, Array(0.2)) .addGrid(... -
316 votesanswersviews
“编程代码”在编程环境中意味着什么?
我在函数式编程和PLT圈子里曾多次听到过“enggebras”这个术语,特别是在讨论对象,comonads,镜头等时 . 谷歌搜索这个术语给出了这些结构的数学描述的页面,这对我来说是非常难以理解的 . 任何人都可以解释一下代数在编程环境中的含义,它们的意义是什么,以及它们与对象和共同体的关系? -
33 votesanswersviews
在Scala中使用zipWith(映射多个Seq)
假设我有 val foo : Seq[Double] = ... val bar : Seq[Double] = ... 我希望产生一个seq,其中baz(i)= foo(i)bar(i) . 我能想到的一种方法是 val baz : Seq[Double] = (foo.toList zip bar.toList) map ((f: Double, b : Double) => f+b)... -
4 votesanswersviews
如何将Map [String,Seq [String]]转换为Map [String,String]
我有一个Map [String,Seq [String]],并希望基本上将它转换为Map [String,String],因为我知道序列只有一个值 . -
0 votesanswersviews
在map函数中获取Seq / Vector的索引
我有一个Seq [文章] 我想映射它们,但不知何故可以访问序列中文章的位置 . 因此,如果Seq包含(Article1,Article2,Article3,Article4),我想做这样的事情: mySeq.map { article => val index = article.getPositionInSeq // <- obviously this is not def... -
0 votesanswersviews
展平RDD - 键值对的值中的嵌套列表
我花了一段时间才弄明白这一点,我想分享我的解决方案 . 绝对欢迎改进 . 参考文献:Flattening a Scala Map in an RDD,Spark Flatten Seq by reversing groupby, (i.e. repeat header for each sequence in it) 我有一个表格的RDD:RDD [(Int,List [(String,List ... -
0 votesanswersviews
如何最好通过Scala中的Map [String,Int]过滤Seq [Object]?
我正在尝试通过Map [objectid:String,Int]过滤包含对象的Seq [Object],其中Object.id是Map中的键 . 我想返回一个新的Map,其中只包含id在原始 Map 中的对象及其Int值 . 所以函数应该返回Map [Object,Int] 这是我到目前为止的情况?实现这一目标的最佳方法是什么? val peopleObjects[Person] = Seq[pe... -
0 votesanswersviews
如何将两个Seq [String],Seq [Double]合并为Seq [(String,Double)]
我有两个Seq . 1有 Seq[String] 而另一个有 Seq[(String,Double)] a -> ["a","b","c"] 和 b-> [1,2,3] 我想创建输出为 [("a",1),("b",2),("c",3)] 我有一个代码 a.zip(... -
0 votesanswersviews
Scala:在键上合并两个不可变映射并获取具有相同类型的新不可变映射[重复]
这个问题在这里已有答案: Scala: Merge map 9个答案 我想在下面类型的相同键上合并两个不可变映射: scala.collection.immutable.HashMap [字符串,SEQ [字符串]] 和return类型也应该相同:scala.collection.immutable.HashMap [String,Seq [String]] 例如: scala> map... -
0 votesanswersviews
将两个 Map 合并为一个序列标量
我有两个 Map 如下 Map("x" -> Seq("abc"), "z" -> Seq("ghj")) and Map("y" -> Seq("xyz"), "z" -> Seq("pqr")) 我想要的输出是... -
2 votesanswersviews
Kafka Akka Streams Consumer在超时后因WakeupException而中断 . 消息:null
我正在做一个简单的代码: 使用docker创建kafka代理 使用scala akka生成器发布消息 使用scala akka使用者消费消息 . 可以在我的github帐户中找到如何运行的代码和说明: https://github.com/dvirgiln/akka-streams-ts 消费者失败了: val consumerSettings = ConsumerSettings...