首页 文章

为什么Python不释放内存（在mod_wsgi Django下）

提问于
浏览 次
5

我有 Apache mod_wsgi Django app . mod_wsgi 以守护进程模式运行 .

我有一个视图从DB中获取重要的查询集，另外通过计算查询集的结果来分配数组，然后返回此数组 . 我没有使用线程本地存储，全局变量或类似的东西 .

The problem is 我的应用程序相对于我为mod_wsgi设置的数字线程占用内存 .

我通过在mod_wsgi中设置不同数量的线程然后通过curl检查wsgi进程可以在多大程度上进行内存爬升来进行小型实验 .

它是这样的：

1 thread  - 256Mb
2 threads - 400Mb
3 threads - 535Mb
4 threads - 650Mb

因此每个线程增加大约120-140Mb到最高内存使用量 .

我似乎永远不会释放为第一个请求分配的初始内存 . 在单线程场景中，当第二个请求（到同一视图）到达时，它会被重用 . 有了这个，我可以离开 .

但是当我使用多个线程时，当请求由之前从未运行此请求的线程处理时，此线程在本地某处“保存”另一个140mb .

  • 如何解决这个问题？

  • 可能Django在TSL中保存了一些数据 . 如果是这种情况，我该如何禁用它？

  • 或者，作为一种解决方法，是否可以将请求执行绑定到 mod_wsgi 中的某个线程？

谢谢 .

PS . DEBUG 在 settings.py 中设置为False

python django memory-leaks mod-wsgi

1 回答

  • 8

    在这种情况下，您应该做的是对Web应用程序进行垂直分区，使其跨多个mod_wsgi守护程序进程组运行 . 这样，您就可以将mod_wsgi守护程序进程的配置定制为您委派给每个进程的URL子集的要求 . 由于Django应用程序的管理界面URL通常具有较高的瞬态内存使用要求，但却不经常使用，因此建议您执行以下操作：

    WSGIScriptAlias / /my/path/site/wsgi.py
WSGIApplicationGroup %{GLOBAL}

WSGIDaemonProcess main processes=3 threads=5
WSGIProcessGroup main

WSGIDaemonProcess admin threads=2 inactivity-timeout=60
<Location /admin>
WSGIProcessGroup admin
</Location>

    这样做是为了创建两个守护进程组 . 默认情况下，URL将在主守护进程组中处理，其中进程是持久的 .

    但是，对于管理界面的URL，它们将被定向到管理守护程序进程组，该进程组可以使用具有减少的线程数的单个进程进行设置，加上不活动超时，以便在管理员进程时自动重新启动进程60秒后不使用接口，从而回收任何过多的瞬态内存使用 .

    这意味着如果从上次开始回收进程，那么向管理界面提交请求可能会稍微减慢，因为所有内容都必须再次加载，但由于它是管理界面而不是公共URL，因此通常可以接受的 .

    回复于

相关问题