我有以下场景:
-
对于需要处理的作业,包含作业描述的消息将发送到Amazon SQS消息队列
-
我有不同的流程需要做这些工作
需要满足以下条件:
-
如果一个进程无法完成作业(可能是因为它在崩溃时运行的服务器),则该作业必须再次可用于其他进程 .
-
当正在处理一个作业时,具有相同描述的其他作业必须等到第一个作业完成或达到其超时 .
-
系统应根据消息队列长度轻松扩展 .
为了确保(1),我的第一个想法是使用Amazon SQS队列提供的消息锁定功能,但我如何确保(2)呢?将流程分配给工作描述是一种选择,但是(3)将更加困难 .
1 回答
设置更长的“VisibilityTimeout”值 . 确保此值比完成作业通常所需的时间长 .
如果接收此作业的计算机无法完成(或未能及时完成),则该消息将再次可供新计算机处理 .
这解决了#1和#2 .
对于#3,我相信您可以根据SQS队列的大小设置自动缩放触发器,因此如果您有更多消息,AWS将自动启动新实例来处理它们 .