web-dev-qa-db-ja.com

pythonワーカープロセスを含むプール

pythonプロセスオブジェクトを使用してワーカープールを使用しようとしています。各ワーカー（プロセス）は初期化を行い（かなりの時間がかかります）、一連のジョブ（理想的にはmap()）を使用し、何かを返します。それ以上の通信は必要ありません。しかし、map（）を使用してワーカーのcompute()関数を使用する方法を理解できないようです。 。

_from multiprocessing import Pool, Process

class Worker(Process):
    def __init__(self):
        print 'Worker started'
        # do some initialization here
        super(Worker, self).__init__()

    def compute(self, data):
        print 'Computing things!'
        return data * data

if __name__ == '__main__':
    # This works fine
    worker = Worker()
    print worker.compute(3)

    # workers get initialized fine
    pool = Pool(processes = 4,
                initializer = Worker)
    data = range(10)
    # How to use my worker pool?
    result = pool.map(compute, data)
_

ジョブキューは代わりに行く方法ですか、それともmap()を使用できますか？

pythonmultiprocessing
29
Felix

これにはキューを使用することをお勧めします。

class Worker(Process):
    def __init__(self, queue):
        super(Worker, self).__init__()
        self.queue = queue

    def run(self):
        print('Worker started')
        # do some initialization here

        print('Computing things!')
        for data in iter(self.queue.get, None):
            # Use data

これで、これらの山を開始できます。すべてが単一のキューから作業を取得します

request_queue = Queue()
for i in range(4):
    Worker(request_queue).start()
for data in the_real_source:
    request_queue.put(data)
# Sentinel objects to allow clean shutdown: 1 per worker.
for i in range(4):
    request_queue.put(None)

このようなことにより、複数のワーカー間で高額な初期費用を償却できるようになります。

51
S.Lott

initializerは、初期化を行う任意の呼び出し可能オブジェクトを想定しています。たとえば、Processサブクラスではなく、一部のグローバルを設定できます。 mapは任意のイテラブルを受け入れます：

#!/usr/bin/env python
import multiprocessing as mp

def init(val):
    print('do some initialization here')

def compute(data):
    print('Computing things!')
    return data * data

def produce_data():
    yield -100
    for i in range(10):
        yield i
    yield 100

if __name__=="__main__":
  p = mp.Pool(initializer=init, initargs=('arg',))
  print(p.map(compute, produce_data()))
6
jfs

python 3.3なので、starmapも使用できます複数の引数を使用して結果を取得する場合非常に単純な構文：

import multiprocessing

nb_cores = multiprocessing.cpu_count()

def caps(nb, letter):
    print('Exec nb:', nb)
    return letter.upper()

if __name__ == '__main__':

    multiprocessing.freeze_support() # for Windows, also requires to be in the statement: if __name__ == '__main__'

    input_data = ['a','b','c','d','e','f','g','h']
    input_order = [1,2,3,4,5,6,7,8,9]

    with multiprocessing.Pool(processes=nb_cores) as pool: # auto closing workers
        results = pool.starmap(caps, Zip(input_order, input_data))

    print(results)
1
Charly Empereur-mot