首页 文章

subprocess.wait（）没有等待Popen进程完成（使用线程时）？

提问于
浏览 次
15

当使用 subprocess.Popen() 从我的python脚本中使用线程生成同一应用程序的多个实例以使它们同时运行时，我遇到了一些问题 . 在每个线程中，我使用 popen() 调用运行应用程序，然后通过调用 wait() 等待它完成 . 问题似乎是 wait() -call实际上并没有等待进程完成 . 我只使用一个线程进行实验，并在进程启动时和完成时打印出文本消息 . 所以线程函数看起来像这样：

def worker():
    while True:
        job = q.get() # q is a global Queue of jobs
        print('Starting process %d' % job['id'])
        proc = subprocess.Popen(job['cmd'], shell=True)
        proc.wait()
        print('Finished process %d' % job['id'])
        job.task_done()

但即使我只使用一个线程，它也会在出现任何"Finished process..."消息之前打印出几条"Starting process..."消息 . 有没有 wait() 实际上没有等待的情况？我有几个不同的外部应用程序（C控制台应用程序），这些应用程序反过来将同时运行多个实例，对于其中一些实例，我的代码可以工作，但对于其他实例，它不会 . 外部应用程序是否存在某些问题会以某种方式影响对 wait() 的调用？创建线程的代码如下所示：

for i in range(1):
    t = Thread(target=worker)
    t.daemon = True
    t.start()
q.join() # Wait for the queue to empty

Update 1 ：我还应该补充一点，对于某些外部应用程序，我有时会得到-1073471801的返回码（ proc.returncode ） . 例如，其中一个外部应用程序将在前两次调用返回代码 Popen ，而不是最后两个（当我有四个作业时） .

Update 2 ：为了清理，现在我在队列中有四个作业，这是四个不同的测试用例 . 当我运行我的代码时，对于其中一个外部应用程序，前两个 Popen -calls生成返回码-1073471801 . 但是如果我打印 Popen 调用的确切命令，并在命令窗口中运行它，它会毫无问题地执行 .

Solved! 我设法解决了我遇到的问题 . 我认为问题在于我缺乏线程编程的经验 . 我错过了这样一个事实，当我创建了我的第一个工作线程时，他们会一直活着直到python脚本退出 . 我每次在队列中放入新项目时都会错误地创建更多的工作线程（我会为每个要运行的外部程序批量执行此操作） . 所以当我进入第四个外部应用程序时，我有四个线程同时运行，即使我只认为我有一个 .

python multithreading subprocess popen

4 回答

  • 7

    您也可以使用check_call()而不是Popen . check_call() 等待命令完成，即使 shell=True 然后返回作业的退出代码 .

    回复于
  • 0

    遗憾的是，当使用 shell=True 运行子进程时，wait()将仅等待 sh 子进程完成，而不是等待命令 cmd .

    我建议是否可以不使用 shell=True ，如果不可能，你可以创建一个像answer这样的进程组，并使用os.waitpid等待进程组而不仅仅是shell进程 .

    希望这有用:)

    回复于
  • 11

    确保您呼叫的所有应用程序在完成后都具有有效的系统返回码

    回复于
  • 0

    我也有问题，但受到了你的启发 .

    我看起来像这样，工作得很漂亮：

    startupinfo = subprocess.STARTUPINFO()
    startupinfo.dwFlags = subprocess.STARTF_USESHOWWINDOW
    startupinfo.wShowWindow = subprocess.SW_HIDE
    proc = subprocess.Popen(command, startupinfo=startupinfo)
    proc.communicate()
    proc.wait()

    请注意，这个也隐藏了窗口 .

    回复于

相关问题