web-dev-qa-db-ja.com

Pythonのマルチプロセッシングキュー

Pythonのマルチプロセッシングライブラリでキューを使用しようとしています。以下のコードを実行した後（printステートメントは機能します）、キューでjoinを呼び出した後、プロセスが終了せず、まだ生きています。残りのプロセスを終了するにはどうすればよいですか？

ありがとう！

def MultiprocessTest(self):
  print "Starting multiprocess."
  print "Number of CPUs",multiprocessing.cpu_count()

  num_procs = 4
  def do_work(message):
    print "work",message ,"completed"

  def worker():
    while True:
      item = q.get()
      do_work(item)
      q.task_done()

  q = multiprocessing.JoinableQueue()
  for i in range(num_procs):
    p = multiprocessing.Process(target=worker)
    p.daemon = True
    p.start()

  source = ['hi','there','how','are','you','doing']
  for item in source:
    q.put(item)
  print "q close"
  q.join()
  #q.close()
  print "Finished everything...."
  print "num active children:",multiprocessing.active_children()
pythonmultiprocessing
12
aerain

これを試して：

import multiprocessing

num_procs = 4
def do_work(message):
  print "work",message ,"completed"

def worker():
  for item in iter( q.get, None ):
    do_work(item)
    q.task_done()
  q.task_done()

q = multiprocessing.JoinableQueue()
procs = []
for i in range(num_procs):
  procs.append( multiprocessing.Process(target=worker) )
  procs[-1].daemon = True
  procs[-1].start()

source = ['hi','there','how','are','you','doing']
for item in source:
  q.put(item)

q.join()

for p in procs:
  q.put( None )

q.join()

for p in procs:
  p.join()

print "Finished everything...."
print "num active children:", multiprocessing.active_children()
9
underrun

あなたの労働者は終了するために歩哨を必要とします、さもなければ彼らはただブロッキング読み取りに座ります。 Pで結合する代わりにQでスリープを使用すると、ステータス情報などを表示できることに注意してください。
私の好みのテンプレートは次のとおりです。

def worker(q,nameStr):
  print 'Worker %s started' %nameStr
  while True:
     item = q.get()
     if item is None: # detect sentinel
       break
     print '%s processed %s' % (nameStr,item) # do something useful
     q.task_done()
  print 'Worker %s Finished' % nameStr
  q.task_done()

q = multiprocessing.JoinableQueue()
procs = []
for i in range(num_procs):
  nameStr = 'Worker_'+str(i)
  p = multiprocessing.Process(target=worker, args=(q,nameStr))
  p.daemon = True
  p.start()
  procs.append(p)

source = ['hi','there','how','are','you','doing']
for item in source:
  q.put(item)

for i in range(num_procs):
  q.put(None) # send termination sentinel, one for each process

while not q.empty(): # wait for processing to finish
  sleep(1)   # manage timeouts and status updates etc.
6
Paul Smith

プロセスに参加する前にキューをクリアする必要がありますが、q.empty（）は信頼できません。

キューをクリアする最良の方法は、信頼できるネットワークを備えたソケットのように、番兵の値を受け取るまで成功した取得またはループの数を数えることです。

3
Cees Timmerman

これは、JoinableQueueに多数のタスクを配置してからワーカープロセスを起動する比較的単純なケースのsentinel-freeメソッドです。タスクを消費し、キューが「ドライ」になると終了します。秘訣は、JoinableQueue.get_nowait()の代わりにget()を使用することです。 get_nowait()は、その名前が示すように、非ブロッキング方式でキューから値を取得しようとします。取得するものがない場合は、queue.Empty例外が発生します。ワーカーは終了することでこの例外を処理します。

原則を説明するための基本的なコード：

import multiprocessing as mp
from queue import Empty

def worker(q):
  while True:
    try:
      work = q.get_nowait()
      # ... do something with `work`
      q.task_done()
    except Empty:
      break # completely done

# main
worknum = 4
jq = mp.JoinableQueue()

# fill up the task queue
# let's assume `tasks` contains some sort of data
# that your workers know how to process
for task in tasks:
  jq.put(task)

procs = [ mp.Process(target=worker, args=(jq,)) for _ in range(worknum) ]
for p in procs:
  p.start()

for p in procs:
  p.join()

利点は、「ポイズンピル」をキューに入れる必要がないため、コードが少し短くなることです。

[〜＃〜] important [〜＃〜]：プロデューサーとコンシューマーが同じキューを使用するより複雑な状況で「インターリーブ」方式であり、作業者は新しいタスクが実行されるのを待たなければならない場合があるため、「ポイズンピル」アプローチを使用する必要があります。上記の私の提案は、タスクキューが空の場合、それ以上ぶらぶらする意味がないことをワーカーが「知っている」という単純なケースです。

1
Laryx Decidua

以下のコードはあまり関連性がないかもしれませんが、一緒に学ぶことができるように、コメント/フィードバックのために投稿します。ありがとうございました！

import multiprocessing

def boss(q,nameStr):
  source = range(1024)
  for item in source:
    q.put(nameStr+' '+str(item))
  q.put(None) # send termination sentinel, one for each process

def worker(q,nameStr):
  while True:
     item = q.get()
     if item is None: # detect sentinel
       break
     print '%s processed %s' % (nameStr,item) # do something useful

q = multiprocessing.Queue()

procs = []

num_procs = 4
for i in range(num_procs):
  nameStr = 'ID_'+str(i)
  p = multiprocessing.Process(target=worker, args=(q,nameStr))
  procs.append(p)
  p = multiprocessing.Process(target=boss,   args=(q,nameStr))
  procs.append(p)

for j in procs:
  j.start()
for j in procs:
  j.join()
1
Fan