multiprocessing
モジュールのドキュメントは、multiprocessing.Process
で開始されたプロセスにキューを渡す方法を示しています。しかし、apply_async
で開始された非同期ワーカープロセスとキューを共有するにはどうすればよいですか?動的な結合などは必要ありません。ワーカーが結果を(繰り返し)ベースに報告するための方法です。
import multiprocessing
def worker(name, que):
que.put("%d is done" % name)
if __== '__main__':
pool = multiprocessing.Pool(processes=3)
q = multiprocessing.Queue()
workers = pool.apply_async(worker, (33, q))
これはRuntimeError: Queue objects should only be shared between processes through inheritance
で失敗します。私はこれが何を意味するのかを理解し、ピクルス/アンピクル(およびWindowsのすべての特別な制限)を要求するのではなく、継承するアドバイスを理解します。しかし、どのようにdo動作する方法でキューを渡しますか?例を見つけることができず、さまざまな方法で失敗したいくつかの代替案を試しました。助けてください?
multiprocessing.Manager を使用して、キューを管理し、さまざまなワーカーがアクセスできるようにしてください。
import multiprocessing
def worker(name, que):
que.put("%d is done" % name)
if __== '__main__':
pool = multiprocessing.Pool(processes=3)
m = multiprocessing.Manager()
q = m.Queue()
workers = pool.apply_async(worker, (33, q))
_multiprocessing.Pool
_には既に共有の結果キューがあります。_Manager.Queue
_を追加で含める必要はありません。 _Manager.Queue
_は、フードの下にある _queue.Queue
_ (マルチスレッドキュー)であり、別のサーバープロセスにあり、プロキシ経由で公開されます。これにより、プールの内部キューと比較して追加のオーバーヘッドが追加されます。 Poolのネイティブの結果処理に依存するのとは異なり、_Manager.Queue
_の結果も順序付けられているとは限りません。
ワーカープロセスはnot.apply_async()
で開始されます。これは、Pool
をインスタンス化するときにすでに発生しています。 pool.apply_async()
を呼び出すときに開始されるのはisが新しい「ジョブ」です。プールのワーカープロセスは、内部で_multiprocessing.pool.worker
_-関数を実行します。この関数は、プールの内部_Pool._inqueue
_を介して転送される新しい「タスク」を処理し、_Pool._outqueue
_を介して親に結果を送り返します。指定したfunc
は_multiprocessing.pool.worker
_内で実行されます。 func
は何かをreturn
するだけでよく、結果は自動的に親に送り返されます。
.apply_async()
immediately(非同期) AsyncResult
オブジェクト(ApplyResult
のエイリアス)を返します。実際の結果を受け取るには、そのオブジェクトで.get()
(ブロッキング中)を呼び出す必要があります。別のオプションは、 callback 関数を登録することです。これは、結果が準備が整うとすぐに起動されます。
_from multiprocessing import Pool
def busy_foo(i):
"""Dummy function simulating cpu-bound work."""
for _ in range(int(10e6)): # do stuff
pass
return i
if __== '__main__':
with Pool(4) as pool:
print(pool._outqueue) # DEMO
results = [pool.apply_async(busy_foo, (i,)) for i in range(10)]
# `.apply_async()` immediately returns AsyncResult (ApplyResult) object
print(results[0]) # DEMO
results = [res.get() for res in results]
print(f'result: {results}')
_
出力例:
_<multiprocessing.queues.SimpleQueue object at 0x7fa124fd67f0>
<multiprocessing.pool.ApplyResult object at 0x7fa12586da20>
result: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
_
注:.get()
にtimeout
-パラメーターを指定しても、ワーカー内のタスクの実際の処理は停止せず、_multiprocessing.TimeoutError
_を上げることで待機中の親のブロックを解除するだけです。