我正在为网站进行数据导入功能 . 我在宅基地上使用Laravel 5.1，并给了机器4GB的RAM和两个虚拟的cpu . 为了导入数据，我使用了Laravel Excel软件包，其chuncking机制基本上打破了块中的数据集，并将处理添加到队列中 . 其工作流程如下：

  • 用户上传excel文件;

  • 调度作业来处理excel文件;

  • 此作业然后将文件分块并调度多个其他作业以处理分块数据;

  • 这些块中的每一个都会调度另一个作业，以便在完成后对插入的数据执行一些后台逻辑 .

我在主管中为这些进程设置了一个名为“import”的队列 . 除了这个队列，我还有一个默认队列（用于发送邮件和其他不太密集的东西）和一个低优先级队列，用于从其他作业调度作业 . 这是我的主管配置：

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=/usr/bin/php /home/vagrant/Code/iris/artisan queue:work --tries=1 --daemon --queue=default,import,background1
autostart=true
autorestart=true
user=vagrant
numprocs=8
redirect_stderr=true
stdout_logfile=/home/vagrant/Code/iris/storage/logs/worker.log

使用较小的文件，这很好用，但是当我尝试导入一个~30k的行文档时，由管理程序生成的php进程在内存中耗尽内存并且在laravel日志中我开始看到 InvalidArgumentException: No handler registered for command [__PHP_Incomplete_Class] in Illuminate\Bus\Dispatcher （特别是当我运行两个导入时会发生这种情况）并行或我试图通过websockets下载东西）我真的很困惑为什么会发生这种情况 . 就使用memory_get_usage（）而言，没有任何一个进程超过512 MB的限制 . 这是垃圾收集器问题吗？我应该手动召唤吗？

由于我提到了websockets，我还试图创建一个单独的队列（具有更高的优先级）来处理Web套接字请求 . 我尝试了多个管理程序配置（在管理程序配置文件中创建了专用worker，将队列添加到配置中的--queue =选项等），但无济于事 . 我通过网络套接字实现了报告下载，它本身工作正常，但是当队列中有其他东西时，套接字请求在优先级较低的“导入”队列中的几个项目完成后处理，让我相信我做的不太了解队列优先级 . 有没有办法为套接字请求 Build 一个单独的队列来立即响应这些请求？

UPDATE

我将内存泄漏范围缩小到我们在导入结束时调度的工作 . 但是，在尝试导入非常大的文件（30k行）时，我无法调度此作业 . 它出错 InvalidArgumentException: No handler registered for command [__PHP_Incomplete_Class] in Illuminate\Bus\Dispatcher （我认为这是因为内存不足）而且由主管启动的php进程仍处于活动状态，并且似乎消耗了与峰值时相同的资源量（每个约450 MB） . 这一直持续到我手动运行 php artisan queue:restart . 对于较小的文件，流程按意图工作：它运行excel批处理，最后将作业调度到队列，这也是成功处理的 .

php laravel-5.1 supervisor