web-dev-qa-db-ja.com

Pythonサブプロセスを並行して

いつでも標準入力を取得できる機能と並行して、多くのプロセスを実行したいと思います。どうすればいいですか？ subprocess.Popen()呼び出しごとにスレッドを実行する必要がありますか？

pythonsubprocess
19
sashab

あなたは単一のスレッドでそれを行うことができます。

ランダムな時間に行を印刷するスクリプトがあるとします。

_#!/usr/bin/env python
#file: child.py
import os
import random
import sys
import time

for i in range(10):
    print("%2d %s %s" % (int(sys.argv[1]), os.getpid(), i))
    sys.stdout.flush()
    time.sleep(random.random())
_

そして、出力が利用可能になり次第収集したい場合は、POSIXシステムで select を使用できます @ zigg推奨 ：

_#!/usr/bin/env python
from __future__ import print_function
from select     import select
from subprocess import Popen, PIPE

# start several subprocesses
processes = [Popen(['./child.py', str(i)], stdout=PIPE,
                   bufsize=1, close_fds=True,
                   universal_newlines=True)
             for i in range(5)]

# read output
timeout = 0.1 # seconds
while processes:
    # remove finished processes from the list (O(N**2))
    for p in processes[:]:
        if p.poll() is not None: # process ended
            print(p.stdout.read(), end='') # read the rest
            p.stdout.close()
            processes.remove(p)

    # wait until there is something to read
    rlist = select([p.stdout for p in processes], [],[], timeout)[0]

    # read a line from each process that has output ready
    for f in rlist:
        print(f.readline(), end='') #NOTE: it can block
_

より移植性の高いソリューション（Windows、Linux、OSXで動作するはずです）は、各プロセスにリーダースレッドを使用できます。 Pythonのsubprocess.PIPEでの非ブロッキング読み取り を参照してください。

これが os.pipe() -UnixとWindowsで動作するベースのソリューションです。

_#!/usr/bin/env python
from __future__ import print_function
import io
import os
import sys
from subprocess import Popen

ON_POSIX = 'posix' in sys.builtin_module_names

# create a pipe to get data
input_fd, output_fd = os.pipe()

# start several subprocesses
processes = [Popen([sys.executable, 'child.py', str(i)], stdout=output_fd,
                   close_fds=ON_POSIX) # close input_fd in children
             for i in range(5)]
os.close(output_fd) # close unused end of the pipe

# read output line by line as soon as it is available
with io.open(input_fd, 'r', buffering=1) as file:
    for line in file:
        print(line, end='')
#
for p in processes:
    p.wait()
_
18
jfs

twisted ：を使用して、複数のサブプロセスからstdoutを同時に収集することもできます。

#!/usr/bin/env python
import sys
from twisted.internet import protocol, reactor

class ProcessProtocol(protocol.ProcessProtocol):
    def outReceived(self, data):
        print data, # received chunk of stdout from child

    def processEnded(self, status):
        global nprocesses
        nprocesses -= 1
        if nprocesses == 0: # all processes ended
            reactor.stop()

# start subprocesses
nprocesses = 5
for _ in xrange(nprocesses):
    reactor.spawnProcess(ProcessProtocol(), sys.executable,
                         args=[sys.executable, 'child.py'],
                         usePTY=True) # can change how child buffers stdout
reactor.run()

ツイストでのプロセスの使用 を参照してください。

6
jfs

プロセスごとにスレッドを実行する必要はありません。各プロセスのstdoutストリームをブロックせずに確認し、読み取り可能なデータがある場合にのみそれらから読み取ることができます。

あなたdoただし、意図しない場合は、誤ってブロックしないように注意する必要があります。

4
Amber