我正在努力了解YARN,并了解了 ApplicationMaster 这个术语以及其他术语 .
ApplicationMaster
据我所知,在Hadoop 1.x中只有MR可以运行,但随着需求的增长,YARN被创建为可以运行不同类型的作业,例如MR Job,Spark based jobs等 .
每种类型的作业(MR,Spark等)都有自己的ApplicationMaster,也就是说,对于MR有一种ApplicationMaster,对于基于Spark的作业,还有另一种类型的ApplicationMaster?
回答你的问题是 Yes .想在纱线上写一个新的应用程序? Hadoop文档有section解释如何 .来自Cloudera的article有助于理解YARN应用程序启动过程 .
Yes
想要了解Spark对Yarn ApplicationMaster的实现 . 检查here
1 回答
回答你的问题是
Yes
.想在纱线上写一个新的应用程序? Hadoop文档有section解释如何 .
来自Cloudera的article有助于理解YARN应用程序启动过程 .
想要了解Spark对Yarn ApplicationMaster的实现 . 检查here