-
0 votesanswersviews
Spark2 shell退出时出现`在线程中的异常“主”java.lang.IllegalArgumentException:MALFORMED`错误
Spark shell无法启动 . 我们正在使用cloudera cdh 5.14.2和java 1.8.0_91 . 我们不确定哪个jar文件解压缩有问题 . $ spark2-shell --version Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_... -
1 votesanswersviews
cdh5.1.3上的Spark 1.1.0在纱线群集模式下不起作用
我在我的集群上安装了CDH 5.1(Hadoop 2.3.0-cdh5.1.3),版本: 我已经安装并配置了一个预构建版本的Spark 1.1.0(Apache Version),它是为我的集群上的hadoop 2.3而构建的 . 当我在'客户端模式'中运行Pi示例时,它成功运行,但在'yarn-cluster'模式下失败 . 火花作业已成功提交,但在轮询应用程序主机一段时间后失败: More ... -
1 votesanswersviews
Cloudera上的Kafka - test = TOPIC_AUTHORIZATION_FAILED
我们刚刚从CDH 5.3.6升级到5.10.0,并在尝试写入Kafka主题时开始出错 . 我们对所有内容都有默认设置,未启用SSL或Kerberos身份验证 . 当使用控制台生成器写入我的一个主题时,我收到此错误: / usr / bin / kafka-console-producer --broker-list = myhost1.dev.com:9092,myhost2.dev.com:90... -
2 votesanswersviews
YARN上可用的物理核心数和VC核之间的关系?
我是yarn的新手,我在Java上编写YARN应用程序 . 根据要求, I can only use N number of physical cores on a machine . YARN允许设置我想要分配给我的应用程序的VCores和Memory的数量 . Is it possible to determine number of VCores for given N number... -
2 votesanswersviews
NiFi构建错误
我正在尝试从https://github.com/apache/nifi克隆它之后构建Apache NiFi,并且它仍然无法在nifi标准处理器项目上进行测试 . 我打开了surefire-reports目录中的输出文件,然后在目录/ var / test中运行程序"cmd",因为没有这样的文件或目录 . 我第一次运行安装它只需要很少的步骤就可以完成这个操作 . 它们发布在下面... -
0 votesanswersviews
在job.properties文件中进行更改后遇到运行配置单元操作的问题
我在使用oozie运行hive2动作时遇到问题 . 我需要添加自己的 jar 的路径,为此我已经使用过了 . oozie.use.system.libpath=true oozie.libpath=path of my jar file. 但是现在我的hive2动作失败了以下日志 . SLF4J:类路径包含多个SLF4J绑定 . SLF4J:在[jar:file:/opt/cloudera/p... -
8 votesanswersviews
PySpark在YARN集群上分布式处理
我使用YARN作为资源管理器,在Cloudera CDH5.3集群上运行Spark . 我正在用Python(PySpark)开发Spark应用程序 . 我可以提交作业并且它们成功运行,但是它们似乎永远不会在多台机器上运行(我提交的本地机器) . 我尝试了各种选项,比如将--deploy-mode设置为cluster,将master设置为yarn-client和yarn-cluster,但它似乎永... -
9 votesanswersviews
Datastax Cassandra Driver抛出CodecNotFoundException
确切的例外情况如下 com.datastax.driver.core.exceptions.CodecNotFoundException:找不到请求的操作的编解码器:[varchar < - > java.math.BigDecimal] 这些是我使用Spark 1.5 Datastax-cassandra 3.2.1 CDH 5.5.1的软件版本 我试图执行的代码是使用java ap... -
5 votesanswersviews
连接HBase到HDFS时,Hbase Shell中的连接被拒绝
我正在尝试将我的HBase连接到HDFS . 我运行了hdfs namenode(bin / hdfs namenode)和datnode(/ bin / hdfs datanode) . 我也可以启动我的Hbase(sudo ./bin/start-hbase.sh)和本地区域服务器(sudo ./bin/local-regionservers.sh start 1 2) . 但是当我尝试从Hb... -
0 votesanswersviews
Spring for Hadoop:CDH 5.8上的批处理火花样本问题
我想跑 https://github.com/trisberg/springone-2015/tree/master/batch-spark 在Cloudera Hadoop 5.8(快速入门) . 我按照本指南试图设置所有内容: http://docs.spring.io/spring-hadoop/docs/current/reference/html/springandhadoop-spar... -
1 votesanswersviews
Hadoop CDH . 文件只能复制到0个节点而不是minReplication(= 1)
我有72台机器的集群的问题 . 其中60个是HOT存储,12个是COLD . 当我试图将数据放入COLD Hive表 sometimes 时出现错误: Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): Fil... -
0 votesanswersviews
尝试与kerberized Hadoop集群通信时,“客户端和服务器之间没有共同的保护层”
我正在尝试以编程方式与Kerberized的Hadoop集群进行通信(CDH 5.3 / HDFS 2.5.0) . 我在客户端有一个有效的Kerberos令牌 . 但我收到如下错误,“客户端和服务器之间没有共同的保护层” . 这个错误意味着什么,有没有办法解决或解决它? 这是与HDFS-5688相关的吗?票证似乎意味着必须设置属性"hadoop.rpc.protection"... -
1 votesanswersviews
Pyspark错误读取文件 . Flume HDFS接收器使用user = flume和权限644导入文件
我正在使用Cloudera Quickstart VM 5.12 我有一个Flume代理将来自spooldir源的CSV文件移动到HDFS接收器中 . 操作正常,但导入的文件有: User=flume Group=cloudera Permissions=-rw-r--r-- 当我使用Pyspark并获得时,问题就开始了: PriviledgedActionException as:clou... -
1 votesanswersviews
YARN上的Spark 2正在自动使用更多的群集资源
我在CDH 5.7.0上,我可以看到在YARN集群上运行spark 2的一个奇怪问题 . 下面是我的工作提交命令 spark2-submit --master yarn --deploy-mode cluster --conf“spark.executor.instances = 8”--conf“spark.executor.cores = 4”--conf“spark.executor.me... -
1 votesanswersviews
Hadoop API Jars组织
我是初学者Hadoop开发人员,并且在某种程度上已经使用map-reduce应用程序大约几个月,但我对maven依赖项和jar导入的工作原理感到困惑 . 为了编写完整的map-reduce程序,我需要在pom文件中包含哪些依赖项 . 到目前为止,我很惭愧地说我只是在左右添加依赖项,直到我的导入不再导致错误 . 我尝试在线查看,但我永远无法得到一个可靠的答案 . 到目前为止,这就是我所知道的 这是我... -
1 votesanswersviews
是否有可能在hadoop3集群上运行Spark(2.3)作业,特别是HDP 3.1和CDH6(beta)
此外,CDH 6处于测试阶段,它们是否支持火花2.3而没有任何铃声和口哨声?是否可以在启用hadoop 3的CDH或Hadoop集群上运行相同的旧spark 2.x版本(2.3具体)? 我很想知道使用yarn,hdfs和mapreduce API的向后兼容性变化 . 是否有人在 生产环境 中使用它?