web-dev-qa-db-ja.com

辞書のサイズを制限するには？

Pythonでdictを操作したいのですが、キーと値のペアの数をXに制限します。つまり、現在dictがXのキーと値のペアを格納していて、挿入を実行している場合、削除する既存のペア。一番最近に挿入/アクセスされたキーだったとしても、それは完全に必要なわけではありません。

これが標準ライブラリに存在する場合は、時間を節約して指摘してください！

pythoncachingdictionarylru
55
anthony

Python 2.7および3.1には OrderedDict があり、以前のPython用の純粋なPython実装があります。

from collections import OrderedDict

class LimitedSizeDict(OrderedDict):
    def __init__(self, *args, **kwds):
        self.size_limit = kwds.pop("size_limit", None)
        OrderedDict.__init__(self, *args, **kwds)
        self._check_size_limit()

    def __setitem__(self, key, value):
        OrderedDict.__setitem__(self, key, value)
        self._check_size_limit()

    def _check_size_limit(self):
        if self.size_limit is not None:
            while len(self) > self.size_limit:
                self.popitem(last=False)

updateなど、アイテムを挿入できる他のメソッドもオーバーライドする必要があります。 OrderedDictの主な用途は、ポップされるものを簡単に制御できるようにすることです。それ以外の場合は、通常のdictが機能します。

41
Roger Pate

cachetools は、これを行うマッピングハッシュの適切な実装を提供します（python 2および3で機能します）。

ドキュメントの抜粋：

このモジュールの目的では、キャッシュは最大サイズが固定された変更可能なマッピングです。キャッシュがいっぱいになると、つまり、別のアイテムを追加すると、キャッシュが最大サイズを超えるため、適切なキャッシュアルゴリズムに基づいて、破棄するアイテムをキャッシュで選択する必要があります。

17
vaab

これはシンプルなLRUなしのPython 2.6+ソリューションです（古いPythonではUserDict.DictMixinでも同様のことができますが、2.6以降では推奨されません）。collectionsのABCとにかく好ましい...）：

import collections

class MyDict(collections.MutableMapping):
    def __init__(self, maxlen, *a, **k):
        self.maxlen = maxlen
        self.d = dict(*a, **k)
        while len(self) > maxlen:
            self.popitem()
    def __iter__(self):
        return iter(self.d)
    def __len__(self):
        return len(self.d)
    def __getitem__(self, k):
        return self.d[k]
    def __delitem__(self, k):
        del self.d[k]
    def __setitem__(self, k, v):
        if k not in self and len(self) == self.maxlen:
            self.popitem()
        self.d[k] = v

d = MyDict(5)
for i in range(10):
    d[i] = i
    print(sorted(d))

他の回答が述べたように、おそらくdictをサブクラス化したくないでしょう-self.dへの明示的な委任は残念ながら定型的ですがguarantee他のすべてのメソッドはcollections.MutableMapping。

10
Alex Martelli

以下は、dirt simple Python任意のpythonバージョン1.5.2以降で実行されるコード）で記述されたシンプルで効率的なLRUキャッシュです。

class LRU_Cache:

    def __init__(self, original_function, maxsize=1000):
        self.original_function = original_function
        self.maxsize = maxsize
        self.mapping = {}

        PREV, NEXT, KEY, VALUE = 0, 1, 2, 3         # link fields
        self.head = [None, None, None, None]        # oldest
        self.tail = [self.head, None, None, None]   # newest
        self.head[NEXT] = self.tail

    def __call__(self, *key):
        PREV, NEXT = 0, 1
        mapping, head, tail = self.mapping, self.head, self.tail

        link = mapping.get(key, head)
        if link is head:
            value = self.original_function(*key)
            if len(mapping) >= self.maxsize:
                old_prev, old_next, old_key, old_value = head[NEXT]
                head[NEXT] = old_next
                old_next[PREV] = head
                del mapping[old_key]
            last = tail[PREV]
            link = [last, tail, key, value]
            mapping[key] = last[NEXT] = tail[PREV] = link
        else:
            link_prev, link_next, key, value = link
            link_prev[NEXT] = link_next
            link_next[PREV] = link_prev
            last = tail[PREV]
            last[NEXT] = tail[PREV] = link
            link[PREV] = last
            link[NEXT] = tail
        return value

if __== '__main__':
    p = LRU_Cache(pow, maxsize=3)
    for i in [1,2,3,4,5,3,1,5,1,1]:
        print(i, p(i, 2))
8
Raymond Hettinger

辞書にはこの動作はありません。これを行う独自のクラスを作成することもできます。

class MaxSizeDict(object):
    def __init__(self, max_size):
        self.max_size = max_size
        self.dict = {}
    def __setitem__(self, key, value):
        if key in self.dict:
            self.dict[key] = value    
            return

        if len(self.dict) >= self.max_size:
      ...

これに関するいくつかのメモ

  • ここでdictをサブクラス化するのは魅力的です。技術的にはこれを実行できますが、メソッドが相互に依存しないため、バグが発生しやすくなります。 UserDict.DictMixinを使用すると、すべてのメソッドを定義する必要がなくなります。 dictをサブクラス化した場合に再利用できるメソッドはほとんどありません。
  • Dictは順序付けされていないため、dictは最も最近追加されたキーが何であるかを知りません。
    • 2.7はcollections.OrderedDictを導入しますが、今のところ、キーを個別に順番に保持することは正常に機能するはずです（collections.dequeをキューとして使用してください）。
    • 最も古いものを取得することがそれほど重要ではない場合は、popitemメソッドを使用して任意の1つのアイテムを削除できます。
  • 私はおおよそ、最初の挿入を意味するために最も古いものをぎくしゃくさせました。 LRUアイテムを削除するには、少し異なる操作を行う必要があります。最も明白な効率的な戦略は、（実際の値とともに）dict値として格納されたノード自体への参照を含むキーの二重リンクリストを保持することです。これはより複雑になり、純粋にPythonで実装することは多くのオーバーヘッドを伴います。
2
Mike Graham

Dictをサブクラス化することにより、カスタム辞書クラスを作成できます。あなたの場合、__setitem__をオーバーライドして自分の長さを確認し、制限が回復した場合は何かを削除する必要があります。次の例では、挿入するたびに現在の長さを出力します。

class mydict(dict):
    def __setitem__(self, k, v):
        dict.__setitem__(self, k, v)
        print len(self)

d = mydict()
d['foo'] = 'bar'
d['bar'] = 'baz'
1
c089

良い答えはたくさんありますが、LRUキャッシュのシンプルでPython的な実装を指摘したいと思います。それはアレックス・マルテリの答えに似ています。

from collections import OrderedDict, MutableMapping

class Cache(MutableMapping):
    def __init__(self, maxlen, items=None):
        self._maxlen = maxlen
        self.d = OrderedDict()
        if items:
            for k, v in items:
                self[k] = v

    @property
    def maxlen(self):
        return self._maxlen

    def __getitem__(self, key):
        self.d.move_to_end(key)
        return self.d[key]

    def __setitem__(self, key, value):
        if key in self.d:
            self.d.move_to_end(key)
        Elif len(self.d) == self.maxlen:
            self.d.popitem(last=False)
        self.d[key] = value

    def __delitem__(self, key):
        del self.d[key]

    def __iter__(self):
        return self.d.__iter__()

    def __len__(self):
        return len(self.d)
1
Ian Chen