首页 文章

从AWS Redshift到S3的AWS Glue ETL作业失败

提问于
浏览
4

我正在尝试使用AWS Glue服务向ETL提供从redshift到S3的一些数据 . Crawler成功运行并在数据目录中创建元表,但是当我运行ETL作业(由AWS生成)时,它在大约20分钟后显示“资源不可用”时失败 .

我看不到在Google Cloud中创建的AWS胶合日志或错误日志 . 当我尝试查看它时,它说“找不到日志流 . 找不到日志流jr_xxxxxxxxxx . 检查它是否正确创建并重试 . ”

如果您能提供解决此问题的任何指导,我将不胜感激 .

2 回答

  • 2

    enter image description here

    基本上,如果您的胶水区域没有太多流量,您添加到Glue的工作将会运行 . 如果没有可用资源,您需要再次手动重新添加作业,或者您也可以bind yourself to events from CloudWatch via SNS .

    此外,还有一些参数可以传递给作业,如 maximunRetrytimeout .

    如果你有 Ressource not available ,它甚至开始赢了't trigger a retry because the job did not fail, it just didn' . 但是如果你设置 timeout 让我们说 60 minutes ,它会在那之后触发错误,减少重试池并重新启动作业 .

  • 1

    我在Glue文档中看到的最接近的是:

    如果您在AWS Glue中遇到错误,请使用以下解决方案来帮助您找到问题的根源并进行修复 . 注意AWS Glue GitHub存储库包含AWS Glue常见问题解答中的其他故障排除指南 . 错误:资源不可用如果AWS Glue返回资源不可用消息,您可以查看错误消息或日志以帮助您了解有关该问题的更多信息 . 以下任务描述了一般故障排除方法 . •无反向查找的自定义DNS配置可能导致AWS Glue失败 . 检查您的DNS配置 . 如果您使用的是Amazon Route 53或Microsoft Active Directory,请确保存在正向和反向查找 . 有关更多信息,请参阅在VPC中设置DNS(p.23) . •对于您使用的任何连接和开发 endpoints ,请检查您的群集是否已用完弹性网络接口 .

相关问题