Celery为每个任务创建新连接

4 回答

• 0

  我希望我使用的是Redis，因为有一个特定的选项来限制连接数： CELERY_REDIS_MAX_CONNECTIONS .

  • http://docs.celeryproject.org/en/3.0/configuration.html#celery-redis-max-connections（适用于3.0）

  • http://docs.celeryproject.org/en/latest/configuration.html#celery-redis-max-connections（适用于3.1）

  • http://docs.celeryproject.org/en/master/configuration.html#celery-redis-max-connections（适用于开发）

  MongoDB 具有类似的后端设置 .

  鉴于这些后端设置，我不知道 BROKER_POOL_LIMIT 实际上做了什么 . 希望 CELERY_REDIS_MAX_CONNECTIONS 解决您的问题 .

  我是其中一个使用CloudAMQP的人，而AMQP后端没有自己的连接限制参数 .

  回复于 2024-04-30T01:31:09+08:00
• 1

  我在使用CloudAMQP的Heroku上遇到了同样的问题 . 我不知道为什么，但在为 BROKER_POOL_LIMIT 设置分配低整数时我没有运气 .

  最终，我发现通过设置 BROKER_POOL_LIMIT=None 或 BROKER_POOL_LIMIT=0 ，我的问题得到了缓解 . 根据Celery文档，这会禁用连接池 . 到目前为止，这对我来说并不是一个明显的问题，但是我不确定它是否适合你 .

  链接到相关信息：http://celery.readthedocs.org/en/latest/configuration.html#broker-pool-limit

  回复于 2024-04-30T01:31:09+08:00
• 7

  尝试这些设置：

  CELERY_IGNORE_RESULT = True
  CELERY_STORE_ERRORS_EVEN_IF_IGNORED = True
  

  回复于 2024-04-30T01:31:09+08:00
• 6

  我有一个涉及连接数和Celery的类似问题 . 它不是在Heroku上，而是Mongo而不是Redis .

  我在任务模块级别的任务函数定义之外启动了连接 . 至少对于Mongo，这允许任务共享连接 .

  希望有所帮助 .

  https://github.com/instituteofdesign/wander/blob/master/wander/tasks.py

  mongoengine.connect('stored_messages')
  
  @celery.task(default_retry_delay = 61)
  def pull(settings, google_settings, user, folder, messageid):
      '''
      Pulls a message from zimbra and stores it in Mongo
      '''
  
      try:
          imap = imap_connect(settings, user)
          imap.select(folder, True)
      .......
  

  回复于 2024-04-30T01:31:09+08:00