spark分配包括一个ec2启动脚本,指向github中spark ami的位置 . 不幸的是,ami(只有一个)是亚马逊linux - 这是非常有限的 . 特别是amazon linux ami具有有限的软件包支持 .
所以,如果我想在亚马逊linux上获得php5.4(而不是默认的5.3) - 没有这样的运气 .
是否有任何非亚马逊linux ami可用于spark-ec2?
除了provided by the Spark project之外,我不知道最新的Spark AMI集 .
也就是说,我开发了一种方法,使用Packer从一组基础AMI和一些Bash脚本中自动创建一组Spark AMI:
https://github.com/nchammas/spark-ec2/tree/packer/image-build
这是作为SPARK-3821的一部分完成的 .
您需要做一些工作才能使其与Ubuntu一起使用,因为脚本目前假定基于_1347502的Linux发行版 .
基本上:
These lines定义要构建的基本AMI .
These lines显示正在运行以构建映像的脚本 .
These和these行告诉Packer将构建的AMI复制到所有EC2区域 . 你可能想改变它 .
成功的最短途径可能是尝试具有您正在寻找的软件包的CentOS或Fedora基础映像 . 这将最大限度地减少您必须对Bash脚本所做的更改 .
围绕Spark 1.4发布时间表(大约在2015年6月/ 7月),我将努力将其合并到主 spark-ec2 repo中 .
spark-ec2
1 回答
除了provided by the Spark project之外,我不知道最新的Spark AMI集 .
也就是说,我开发了一种方法,使用Packer从一组基础AMI和一些Bash脚本中自动创建一组Spark AMI:
https://github.com/nchammas/spark-ec2/tree/packer/image-build
这是作为SPARK-3821的一部分完成的 .
您需要做一些工作才能使其与Ubuntu一起使用,因为脚本目前假定基于_1347502的Linux发行版 .
基本上:
These lines定义要构建的基本AMI .
These lines显示正在运行以构建映像的脚本 .
These和these行告诉Packer将构建的AMI复制到所有EC2区域 . 你可能想改变它 .
成功的最短途径可能是尝试具有您正在寻找的软件包的CentOS或Fedora基础映像 . 这将最大限度地减少您必须对Bash脚本所做的更改 .
围绕Spark 1.4发布时间表(大约在2015年6月/ 7月),我将努力将其合并到主
spark-ec2
repo中 .