-
3 votesanswersviews
Hive表的字段分隔符不被spark HiveContext识别
我创建了一个hive外部表,存储为由event_date Date分区的文本文件 . 在从Hive表中读取spark时,我们如何指定特定格式的csv? 环境是 1. 1.Spark 1.5.0 - cdh5.5.1 Using Scala version 2.10.4(Java HotSpot(TM) 64 - Bit Server VM, Java 1.7.0_67) 2. Hive 1... -
0 votesanswersviews
zeppelin with spark 1.5.2独立集群错误
我已经将Zeppelin 0.5.5二进制文件下载到了redhat 6.3实例中 . 我也成功地 Build 了火花1.5.2 . 现在,我想让zeppelin使用spark版本而不是zeppelin附带的预编译版本 . 为此,我编辑了conf / so,它只包含这条未注释的行: export SPARK_HOME=/home/eron/spark-1.5.2/ 我还编辑了zeppelin GU... -
0 votesanswersviews
Spark上的Hadoop YARN - 执行者遗失
我有一个运行Hadoop和Spark-1.5.2的3台macOS机器的集群(尽管Spark-2.0.0存在同样的问题) . 使用'yarn'作为Spark主URL,我遇到了一个奇怪的问题,即任务只分配给3台机器中的2台 . 基于Hadoop仪表板(主站上的端口8088),很明显所有3个节点都是集群的一部分 . 但是,我运行的任何Spark作业只使用2个执行程序 . 例如,这是JavaWordCou...