首页 文章

我可以在本地测试AWS Glue代码吗?

提问于
浏览
7

在阅读了亚马逊文档之后,我的理解是运行/测试Glue脚本的唯一方法是将其部署到开发 endpoints 并在必要时远程调试 . 同时,如果(Python)代码由多个文件和包组成,则除了主脚本之外的所有代码都需要压缩 . 所有这些让我觉得Glue不适合任何复杂的ETL任务,因为开发和测试很麻烦 . 我可以在本地测试我的Spark代码,而无需每次都将代码上传到S3,并在CI服务器上验证测试,而无需支付开发Glue endpoints .

2 回答

  • 1

    不是我知道的,如果你有很多远程资产,那将是棘手的 . 使用Windows,我通常在创作工作时运行开发 endpoints 和本地zeppelin笔记本 . 我每天关闭它 .

    您可以使用作业编辑器>脚本编辑器来编辑,保存和运行作业 . 不确定成本差异 .

  • 1

    添加到CedricB,

    出于开发/测试目的,无需将代码上传到S3,您可以在本地设置zeppelin笔记本, Build SSH连接,以便可以访问数据目录/爬虫等 . 以及您的数据所在的s3存储桶 .

    完成所有测试后,您可以捆绑代码,上传到S3存储桶 . 然后创建一个指向S3存储桶中的ETL脚本的作业,以便可以运行和调度作业 . 完成所有开发/测试后,请务必删除开发 endpoints ,因为即使是IDLE时间,我们也要收费 .

    问候

相关问题