首页 文章

zeppelin 0.6.0能与Spark 1.4.1一起使用吗？

提问于
浏览 次
0

我已经在我的集群上安装了zeppelin 0.6.0，它有火花1.4.1（HDP 2.3） . 根据release notes我看到它支持spark 1.6但不确定它是否向后兼容 . 当我尝试在笔记本中运行sc.version时，我可以看到火花作业是以纱线形式提交的，但它在应用程序日志中出现以下错误时立即失败 Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher

我的SPARK_HOME路径是正确的 . 因此归咎于不兼容问题

export MASTER=yarn-client        
export SPARK_YARN_JAR=/usr/hdp/current/spark-client/lib/spark-assembly-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar
export SPARK_HOME=/usr/hdp/current/spark-client
apache-spark apache-zeppelin

1 回答

  • 0

    终于找到了解决方案 . Zeppelin 0.6适用于Spark 1.4.1 . 这是由于翻译而发生的 . 日志zeppelin-zeppelin-servername.log和.out文件有助于解决此问题 . 我在spark解释器中添加了highcharts artifact，但是无法找到该jar文件 . 在提供正确的路径后，我能够运行highcharts并解决此问题 .

    回复于

相关问题