首页 文章

适用于Ubuntu(或Centos)的Spark AMI - 不是amazon linux?

提问于
浏览
3

spark分配包括一个ec2启动脚本,指向github中spark ami的位置 . 不幸的是,ami(只有一个)是亚马逊linux - 这是非常有限的 . 特别是amazon linux ami具有有限的软件包支持 .

所以,如果我想在亚马逊linux上获得php5.4(而不是默认的5.3) - 没有这样的运气 .

是否有任何非亚马逊linux ami可用于spark-ec2?

1 回答

  • 3

    除了provided by the Spark project之外,我不知道最新的Spark AMI集 .

    也就是说,我开发了一种方法,使用Packer从一组基础AMI和一些Bash脚本中自动创建一组Spark AMI:

    https://github.com/nchammas/spark-ec2/tree/packer/image-build

    这是作为SPARK-3821的一部分完成的 .

    您需要做一些工作才能使其与Ubuntu一起使用,因为脚本目前假定基于_1347502的Linux发行版 .

    基本上:

    • These lines定义要构建的基本AMI .

    • These lines显示正在运行以构建映像的脚本 .

    • Thesethese行告诉Packer将构建的AMI复制到所有EC2区域 . 你可能想改变它 .

    成功的最短途径可能是尝试具有您正在寻找的软件包的CentOS或Fedora基础映像 . 这将最大限度地减少您必须对Bash脚本所做的更改 .

    围绕Spark 1.4发布时间表(大约在2015年6月/ 7月),我将努力将其合并到主 spark-ec2 repo中 .

相关问题