首页 文章

如何使用stackdriver为dataproc集群创建空闲/正常运行时间度量标准

提问于
浏览
1

我想为我正在运行的所有数据集群创建一个空闲或正常运行时间指标,而且从我在stackdriver中看到的情况来看,我无法这样做 . 我的方案是我有每天运行的定时数据业务作业,在作业完成后我删除了集群 . 我想通过电子邮件创建一个警报,如果有空闲的数据集群在一小时内什么也不做,或者数据集群的正常运行时间超过24(甚至20)小时 .

谢谢 .

1 回答

  • 1

    您的问题中有3个项目我想分别处理:

    • 关于空闲度量标准的警报:Dataproc不公开这样的度量标准,我将为我们提交一个功能请求以添加一个 . 同时,您可以通过检测此度量标准: dataproc.googleapis.com/cluster/yarn/containers 在一小时左右降至0来近似空闲 .

    • 关于群集闲置一小时或活着24小时 . 这可以通过Dataproc自动通过Scheduled Deletion功能实现: gcloud beta dataproc clusters create ... --max-age=24h --max-idle=1h

    • 关于日常工作 . 我想在这里你可以完全回避问题#1和#2,并利用Workflow Templates来管理集群创建,拆卸和作业执行 . 如果您的自动化是通过Api客户端进行的,或者您需要在每次调用时传递不同的参数,那么InstantiateInline方法就可以实现

相关问题