我需要在Spark SQL中使用特定于Hive的功能,但是我必须使用已经部署的Apache Spark实例,遗憾的是,该实例没有编译Hive支持 .

我需要做些什么才能将Hive支持纳入我的工作中?

我尝试使用spark.sql.hive.metastore.jars设置,但后来我总是得到以下异常:

DataNucleus.Persistence:创建类型为org.datanucleus.properties.CorePropertyValidator的类型为“”的类的验证器时出错在创建时出现错误:{1}

org.datanucleus.exceptions.NucleusUserException:已指定持久性进程使用名为“datanucleus”的ClassLoaderResolver,但DataNucleus插件机制尚未找到 . 请检查您的CLASSPATH和插件规范 .

在设置中,我提供了一个容量为spark-hive(排除spark-corespark-sql)及其所有可选的Hadoop依赖项(CDO特定版本的hadoop-archives,hadoop-common,hadoop-hdfs,hadoop-mapreduce-client-core, hadoop-yarn-api,hadoop-yarn-client和hadoop-yarn-common) .

我还使用值1.2.1指定spark.sql.hive.metastore.version

我在Scala 2.10上使用CDH5.3.1(使用Hadoop 2.5.0)和Spark 1.5.2