此外,CDH 6处于测试阶段,它们是否支持火花2.3而没有任何铃声和口哨声?是否可以在启用hadoop 3的CDH或Hadoop集群上运行相同的旧spark 2.x版本(2.3具体)?
我很想知道使用yarn,hdfs和mapreduce API的向后兼容性变化 .
是否有人在 生产环境 中使用它?
几周前宣布了CDH 6.0 GA . 除了Hadoop 3之外,它还将Spark 2.2 打包为默认的Spark版本:https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_600_new_features.html#spark_new_features . 但是,可以单独将CDS升级到更高版本(2.3.x) .根据https://www.cloudera.com/documentation/spark2/latest/topics/spark2_troubleshooting.html#spark_troubleshooting__hive_compatibility,CDH 6似乎不受Spark中HMS不兼容性的影响 .
1 回答
几周前宣布了CDH 6.0 GA . 除了Hadoop 3之外,它还将Spark 2.2 打包为默认的Spark版本:https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_600_new_features.html#spark_new_features . 但是,可以单独将CDS升级到更高版本(2.3.x) .
根据https://www.cloudera.com/documentation/spark2/latest/topics/spark2_troubleshooting.html#spark_troubleshooting__hive_compatibility,CDH 6似乎不受Spark中HMS不兼容性的影响 .