web-dev-qa-db-ja.com

Pythonに大きな辞書を格納するピクルス対棚

大きなディレクトリをpickleファイルとして保存している場合、cPickleを介してロードすると、すべてが一度にメモリに消費されますか？

もしそうなら、pickleのようなものを取得するクロスプラットフォームの方法はありますが、アイテムの1つのキーで各エントリにアクセスします（つまり、すべての辞書をメモリにロードせず、各エントリを名前でのみロードします）？私はshelveがこれを行うことになっていることを知っています：それはpickleと同じくらいポータブルですか？

pythonpickleshelve
22
user248237

私は棚がこれをすることになっていることを知っています：それはピクルスと同じくらいポータブルですか？

はい。 shelve は Python標準ライブラリ の一部であり、Pythonで記述されています。

編集

したがって、大きな辞書がある場合：

bigd = {'a': 1, 'b':2, # . . .
}

そして、後で全部を読まなくても保存したいので、ピクルスとして保存しないでください。棚、一種のディスク辞書として保存する方がよいでしょう。

import shelve

myShelve = shelve.open('my.shelve')
myShelve.update(bigd)
myShelve.close()

その後、次のことができます。

import shelve

myShelve = shelve.open('my.shelve')
value = myShelve['a']
value += 1
myShelve['a'] = value

基本的に棚オブジェクトを口述のように扱いますが、アイテムはディスクに（個別のピクルスとして）保存され、必要に応じて読み込まれます。

オブジェクトをプロパティのリストとして保存できる場合は、 sqlite が適切な代替手段になる可能性があります。棚とピクルスは便利ですが、Pythonでのみアクセスできますが、sqliteデータベースはほとんどの言語から読み取ることができます。

22
jimhark

shelveよりも堅牢なモジュールが必要な場合は、kleptoを参照してください。 kleptoは、ディスクまたはデータベース上のプラットフォームに依存しないストレージへの辞書インターフェイスを提供するように構築されており、大きなデータを処理するように構築されています。

ここでは、最初にディスクに保存されているいくつかのピクルスオブジェクトを作成します。ファイルごとに1つのオブジェクトを格納するdir_archiveを使用します。

>>> d = dict(Zip('abcde',range(5)))
>>> d['f'] = max
>>> d['g'] = lambda x:x**2
>>> 
>>> import klepto
>>> help(klepto.archives.dir_archive)       

>>> print klepto.archives.dir_archive.__new__.__doc__
initialize a dictionary with a file-folder archive backend

    Inputs:
        name: name of the root archive directory [default: memo]
        dict: initial dictionary to seed the archive
        cached: if True, use an in-memory cache interface to the archive
        serialized: if True, pickle file contents; otherwise save python objects
        compression: compression level (0 to 9) [default: 0 (no compression)]
        memmode: access mode for files, one of {None, 'r+', 'r', 'w+', 'c'}
        memsize: approximate size (in MB) of cache for in-memory compression

>>> a = klepto.archives.dir_archive(dict=d)
>>> a
dir_archive('memo', {'a': 0, 'c': 2, 'b': 1, 'e': 4, 'd': 3, 'g': <function <lambda> at 0x102f562a8>, 'f': <built-in function max>}, cached=True)
>>> a.dump()
>>> del a

これで、データはすべてディスク上にあります。メモリにロードするデータを選択してみましょう。 bはメモリ内の辞書であり、b.archiveはファイルのコレクションを辞書ビューにマップします。

>>> b = klepto.archives.dir_archive('memo')
>>> b
dir_archive('memo', {}, cached=True)
>>> b.keys()   
[]
>>> b.archive.keys()
['a', 'c', 'b', 'e', 'd', 'g', 'f']
>>> b.load('a')
>>> b
dir_archive('memo', {'a': 0}, cached=True)
>>> b.load('b')
>>> b.load('f')
>>> b.load('g')
>>> b['g'](b['f'](b['a'],b['b']))
1

kleptoは、sqlアーカイブへの同じインターフェースも提供します。

>>> print klepto.archives.sql_archive.__new__.__doc__
initialize a dictionary with a sql database archive backend

    Connect to an existing database, or initialize a new database, at the
    selected database url. For example, to use a sqlite database 'foo.db'
    in the current directory, database='sqlite:///foo.db'. To use a mysql
    database 'foo' on localhost, database='mysql://user:pass@localhost/foo'.
    For postgresql, use database='postgresql://user:pass@localhost/foo'. 
    When connecting to sqlite, the default database is ':memory:'; otherwise,
    the default database is 'defaultdb'. If sqlalchemy is not installed,
    storable values are limited to strings, integers, floats, and other
    basic objects. If sqlalchemy is installed, additional keyword options
    can provide database configuration, such as connection pooling.
    To use a mysql or postgresql database, sqlalchemy must be installed.

    Inputs:
        name: url for the sql database [default: (see note above)]
        dict: initial dictionary to seed the archive
        cached: if True, use an in-memory cache interface to the archive
        serialized: if True, pickle table contents; otherwise cast as strings

>>> c = klepto.archives.sql_archive('database')
>>> c.update(b)
>>> c
sql_archive('sqlite:///database', {'a': 0, 'b': 1, 'g': <function <lambda> at 0x10446b1b8>, 'f': <built-in function max>}, cached=True)
>>> c.dump()

ここで、ディスク上の同じオブジェクトもSQLアーカイブにあります。どちらのアーカイブにも新しいオブジェクトを追加できます。

>>> b['x'] = 69
>>> c['y'] = 96
>>> b.dump('x')
>>> c.dump('y')

ここでkleptoを取得します： https://github.com/uqfoundation

7
Mike McKerns