首页 文章

有没有人在Cassandra上成功运行Apache Spark&Shark

提问于
浏览
2

我正在尝试配置一个5节点cassandra集群来运行Spark / Shark来测试一些Hive查询 . 我安装了Spark,Scala,Shark并根据Amplab [在集群上运行Shark] https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster进行配置 .

我能够进入Shark CLI,当我尝试从我的一个Cassandra ColumnFamily表创建一个EXTERNAL TABLE时,我不断收到此错误

失败,异常org.apache.hadoop.hive.ql.metadata.HiveException:加载存储时出错handler.org.apache.hadoop.hive.cassandra.CassandraStorageHandler FAILED:执行错误,从org.apache.hadoop返回代码1 . hive.ql.exec.DDLTask

我已经配置了HIVE_HOME,HADOOP_HOME,SCALA_HOME . 也许我将HIVE_HOME和HADOOP_HOME指向错误的路径? HADOOP_HOME设置为我的Cassandra hadoop文件夹(/ etc / dse / cassandra),HIVE_HOME设置为Hadoop1 / hive的解包Amplad下载,我还将HIVE_CONF_DIR设置为我的Cassandra Hive路径(/ etc / dse / hive) . 我错过了任何步骤吗?或者我错误地配置了这些位置?有什么想法吗?任何帮助将非常感谢 . 谢谢

1 回答

相关问题