web-dev-qa-db-ja.com

multiprocessing：複数のプロセス間で辞書を共有するにはどうすればよいですか？

結合可能なキューQで動作するいくつかのプロセスを作成し、最終的にグローバル辞書Dを操作して結果を保存するプログラム。 （したがって、各子プロセスはDを使用して結果を保存し、他の子プロセスが生成している結果を確認することもできます）

子プロセスでディクショナリDを印刷すると、ディクショナリで行われた変更（つまりD）が表示されます。しかし、メインプロセスがQに参加した後、Dを出力すると、空の辞書になります！

私はそれが同期/ロックの問題であることを理解しています。誰かがここで何が起こっているのか、そしてDへのアクセスを同期する方法を教えてもらえますか？

pythonmultiprocessing
91
dop

一般的な答えは、 Manager オブジェクトを使用することです。ドキュメントからの適応：

from multiprocessing import Process, Manager

def f(d):
    d[1] += '1'
    d['2'] += 2

if __== '__main__':
    manager = Manager()

    d = manager.dict()
    d[1] = '1'
    d['2'] = 2

    p1 = Process(target=f, args=(d,))
    p2 = Process(target=f, args=(d,))
    p1.start()
    p2.start()
    p1.join()
    p2.join()

    print d

出力：

$ python mul.py 
{1: '111', '2': 6}
135
senderle

マルチプロセッシングはスレッド化とは異なります。各子プロセスは、メインプロセスのメモリのコピーを取得します。一般に、状態は通信（パイプ/ソケット）、信号、または共有メモリを介して共有されます。

マルチプロセッシングにより、ユースケースでいくつかの抽象化が可能になります-プロキシまたは共有メモリを使用してローカルとして扱われる共有状態： http://docs.python.org/library/multiprocessing.html#sharing-state-between-プロセス

関連セクション：

20
Jeremy Brown

Managerのdictより高速で、Mac OSで動作しない大量のメモリを使用するpyshmhtライブラリよりも簡単で安定した自分の作業を共有したいと思います。私の辞書はプレーンな文字列に対してのみ機能し、現在は不変です。リニアプローブ実装を使用し、キーと値のペアをテーブルの後の別のメモリブロックに保存します。

from mmap import mmap
import struct
from timeit import default_timer
from multiprocessing import Manager
from pyshmht import HashTable


class shared_immutable_dict:
    def __init__(self, a):
        self.hs = 1 << (len(a) * 3).bit_length()
        kvp = self.hs * 4
        ht = [0xffffffff] * self.hs
        kvl = []
        for k, v in a.iteritems():
            h = self.hash(k)
            while ht[h] != 0xffffffff:
                h = (h + 1) & (self.hs - 1)
            ht[h] = kvp
            kvp += self.kvlen(k) + self.kvlen(v)
            kvl.append(k)
            kvl.append(v)

        self.m = mmap(-1, kvp)
        for p in ht:
            self.m.write(uint_format.pack(p))
        for x in kvl:
            if len(x) <= 0x7f:
                self.m.write_byte(chr(len(x)))
            else:
                self.m.write(uint_format.pack(0x80000000 + len(x)))
            self.m.write(x)

    def hash(self, k):
        h = hash(k)
        h = (h + (h >> 3) + (h >> 13) + (h >> 23)) * 1749375391 & (self.hs - 1)
        return h

    def get(self, k, d=None):
        h = self.hash(k)
        while True:
            x = uint_format.unpack(self.m[h * 4:h * 4 + 4])[0]
            if x == 0xffffffff:
                return d
            self.m.seek(x)
            if k == self.read_kv():
                return self.read_kv()
            h = (h + 1) & (self.hs - 1)

    def read_kv(self):
        sz = ord(self.m.read_byte())
        if sz & 0x80:
            sz = uint_format.unpack(chr(sz) + self.m.read(3))[0] - 0x80000000
        return self.m.read(sz)

    def kvlen(self, k):
        return len(k) + (1 if len(k) <= 0x7f else 4)

    def __contains__(self, k):
        return self.get(k, None) is not None

    def close(self):
        self.m.close()

uint_format = struct.Struct('>I')


def uget(a, k, d=None):
    return to_unicode(a.get(to_str(k), d))


def uin(a, k):
    return to_str(k) in a


def to_unicode(s):
    return s.decode('utf-8') if isinstance(s, str) else s


def to_str(s):
    return s.encode('utf-8') if isinstance(s, unicode) else s


def mmap_test():
    n = 1000000
    d = shared_immutable_dict({str(i * 2): '1' for i in xrange(n)})
    start_time = default_timer()
    for i in xrange(n):
        if bool(d.get(str(i))) != (i % 2 == 0):
            raise Exception(i)
    print 'mmap speed: %d gets per sec' % (n / (default_timer() - start_time))


def manager_test():
    n = 100000
    d = Manager().dict({str(i * 2): '1' for i in xrange(n)})
    start_time = default_timer()
    for i in xrange(n):
        if bool(d.get(str(i))) != (i % 2 == 0):
            raise Exception(i)
    print 'manager speed: %d gets per sec' % (n / (default_timer() - start_time))


def shm_test():
    n = 1000000
    d = HashTable('tmp', n)
    d.update({str(i * 2): '1' for i in xrange(n)})
    start_time = default_timer()
    for i in xrange(n):
        if bool(d.get(str(i))) != (i % 2 == 0):
            raise Exception(i)
    print 'shm speed: %d gets per sec' % (n / (default_timer() - start_time))


if __== '__main__':
    mmap_test()
    manager_test()
    shm_test()

私のラップトップのパフォーマンス結果は次のとおりです。

mmap speed: 247288 gets per sec
manager speed: 33792 gets per sec
shm speed: 691332 gets per sec

簡単な使用例：

ht = shared_immutable_dict({'a': '1', 'b': '2'})
print ht.get('a')
11
alyaxey

ここの@senderleに加えて、ここで_multiprocessing.Pool_の機能をどのように使用するのか疑問に思う人もいるかもしれません。

良いことは、managerインスタンスに、トップレベルのmultiprocessingの使い慣れたAPIをすべて模倣する.Pool()メソッドがあることです。

_from itertools import repeat
import multiprocessing as mp
import os
import pprint

def f(d):
    pid = os.getpid()
    d[pid] = "Hi, I was written by process %d" % pid

if __== '__main__':
    with mp.Manager() as manager:
        d = manager.dict()
        with manager.Pool() as pool:
            pool.map(f, repeat(d, 10))
        # `d` is a DictProxy object that can be converted to dict
        pprint.pprint(dict(d))
_

出力：

_$ python3 mul.py 
{22562: 'Hi, I was written by process 22562',
 22563: 'Hi, I was written by process 22563',
 22564: 'Hi, I was written by process 22564',
 22565: 'Hi, I was written by process 22565',
 22566: 'Hi, I was written by process 22566',
 22567: 'Hi, I was written by process 22567',
 22568: 'Hi, I was written by process 22568',
 22569: 'Hi, I was written by process 22569',
 22570: 'Hi, I was written by process 22570',
 22571: 'Hi, I was written by process 22571'}
_

これは、各プロセスがそのプロセスIDをグローバルDictProxyオブジェクトdに記録するだけのわずかに異なる例です。

3
Brad Solomon

pyshmhtを試して、Pythonのメモリベースのハッシュテーブル拡張を共有することもできます。

通知

  1. 参考のためだけに、完全にはテストされていません。

  2. 現在、マルチプロセッシング用のロック/ semメカニズムがありません。

2
felix021