web-dev-qa-db-ja.com

Python複数のbashサブプロセスのスレッド？

スレッドおよびサブプロセスモジュールを使用して並列bashプロセスを生成するにはどうすればよいですか？ここで最初の答えとしてスレッドを開始すると、 Pythonでスレッドを使用するには？ で、bashプロセスは並列ではなく順次実行されます。

pythonmultithreadingsubprocess
34
Andrew

サブプロセスを並行して実行するためにスレッドは必要ありません。

_from subprocess import Popen

commands = [
    'date; ls -l; sleep 1; date',
    'date; sleep 5; date',
    'date; df -h; sleep 3; date',
    'date; hostname; sleep 2; date',
    'date; uname -a; date',
]
# run in parallel
processes = [Popen(cmd, Shell=True) for cmd in commands]
# do other things here..
# wait for completion
for p in processes: p.wait()
_

同時コマンドの数を制限するには、スレッドを使用し、プロセスを使用する _multiprocessing.dummy.Pool_ と同じインターフェースを提供する_multiprocessing.Pool_を使用できます。

_from functools import partial
from multiprocessing.dummy import Pool
from subprocess import call

pool = Pool(2) # two concurrent commands at a time
for i, returncode in enumerate(pool.imap(partial(call, Shell=True), commands)):
    if returncode != 0:
       print("%d command failed: %d" % (i, returncode))
_

この回答は、同時サブプロセスの数を制限するためのさまざまな手法を示しています ：multiprocessing.Pool、concurrent.futures、threading + Queueベースのソリューションを示しています。

スレッド/プロセスプールを使用せずに、同時子プロセスの数を制限できます。

_from subprocess import Popen
from itertools import islice

max_workers = 2  # no more than 2 concurrent processes
processes = (Popen(cmd, Shell=True) for cmd in commands)
running_processes = list(islice(processes, max_workers))  # start new processes
while running_processes:
    for i, process in enumerate(running_processes):
        if process.poll() is not None:  # the process has finished
            running_processes[i] = next(processes, None)  # start new process
            if running_processes[i] is None: # no new processes
                del running_processes[i]
                break
_

Unixでは、ビジーループと os.waitpid(-1, 0)のブロック、子プロセスの終了を待つ を回避できます。

57
jfs

簡単なスレッドの例：

import threading
import Queue
import commands
import time

# thread class to run a command
class ExampleThread(threading.Thread):
    def __init__(self, cmd, queue):
        threading.Thread.__init__(self)
        self.cmd = cmd
        self.queue = queue

    def run(self):
        # execute the command, queue the result
        (status, output) = commands.getstatusoutput(self.cmd)
        self.queue.put((self.cmd, output, status))

# queue where results are placed
result_queue = Queue.Queue()

# define the commands to be run in parallel, run them
cmds = ['date; ls -l; sleep 1; date',
        'date; sleep 5; date',
        'date; df -h; sleep 3; date',
        'date; hostname; sleep 2; date',
        'date; uname -a; date',
       ]
for cmd in cmds:
    thread = ExampleThread(cmd, result_queue)
    thread.start()

# print results as we get them
while threading.active_count() > 1 or not result_queue.empty():
    while not result_queue.empty():
        (cmd, output, status) = result_queue.get()
        print('%s:' % cmd)
        print(output)
        print('='*60)
    time.sleep(1)

これのいくつかを行うより良い方法があることに注意してください、しかしこれはそれほど複雑ではありません。この例では、コマンドごとに1つのスレッドを使用します。限られた数のスレッドを使用して未知の数のコマンドを処理するようなことをしたいとき、複雑さが徐々に始まります。スレッド化の基本を理解すれば、これらの高度なテクニックはそれほど複雑に思えません。そして、これらの手法を理解すれば、マルチプロセッシングが簡単になります。

6
rzzzwilson

これは、実行することが想定されているためです。実行したいことはマルチスレッドではありませんが、マルチプロセッシングはこれを参照してください スタックページ

0
Magaly Alonzo