web-dev-qa-db-ja.com

2つの大きな辞書で一致するキーを見つけて高速に実行する

2つの異なる辞書で対応するキーを見つけようとしています。それぞれに約60万のエントリがあります。

たとえば、次のように言います。

    myRDP = { 'Actinobacter': 'GATCGA...TCA', 'subtilus sp.': 'ATCGATT...ACT' }
    myNames = { 'Actinobacter': '8924342' }

MyRDPの値と一致するため、Actinobacter（8924342）の値を出力したいと思います。

次のコードは機能しますが、非常に低速です。

    for key in myRDP:
        for jey in myNames:
            if key == jey:
                print key, myNames[key]

私は以下を試しましたが、常にKeyErrorが発生します：

    for key in myRDP:
        print myNames[key]

これを行うためにCで実装された関数はおそらくありますか？グーグルで検索しましたが、何も機能していないようです。

ありがとう。

pythonbioinformatics
22
Austin Richardson

セットを使用します。これは、intersectionメソッドが組み込まれているため、高速である必要があります。

myRDP = { 'Actinobacter': 'GATCGA...TCA', 'subtilus sp.': 'ATCGATT...ACT' }
myNames = { 'Actinobacter': '8924342' }

rdpSet = set(myRDP)
namesSet = set(myNames)

for name in rdpSet.intersection(namesSet):
    print name, myNames[name]

# Prints: Actinobacter 8924342
38
RichieHindle

あなたはこれを行うことができます：

for key in myRDP:
    if key in myNames:
        print key, myNames[key]

MyRDPのeveryキーをeveryと比較していたため、最初の試行は遅くなりました。 ）myNamesを入力します。アルゴリズムの専門用語では、myRDPにn要素があり、myNamesにm要素がある場合、そのアルゴリズムはO（n×m）操作。それぞれ600kの要素の場合、これは360,000,000,000の比較です。

しかし、特定の要素が辞書のキーであるかどうかのテストは高速です。実際、これは辞書の特徴の1つです。アルゴリズム用語では、key in dictテストはO（1）、または一定時間です。したがって、私のアルゴリズムはO（n）時間かかります。これは、600,000分の1の時間です。

44
John Fouhy

python 3であなたはただすることができます

myNames.keys() & myRDP.keys()

12
boson
for key in myRDP:
    name = myNames.get(key, None)
    if name:
        print key, name

dict.getは、キーが存在しない場合に指定したデフォルト値（この場合はNone）を返します。

8
Andrew Keeton

共通のキーを見つけて、それらを反復処理することから始めることができます。セット操作は、少なくとも最新バージョンのPythonではCで実装されているため、高速である必要があります。

common_keys = set(myRDP).intersection(myNames)
for key in common_keys:
    print key, myNames[key]
6
Roberto Bonvallet

代わりにgetメソッドを使用してください。

 for key in myRDP:
    value = myNames.get(key)
    if value != None:
      print key, "=", value
2
João Silva

最善かつ最も簡単な方法は、一般的なセット操作（Python 3）を実行することです。

a = {"a": 1, "b":2, "c":3, "d":4}
b = {"t1": 1, "b":2, "e":5, "c":3}
res = a.items() & b.items() # {('b', 2), ('c', 3)} For common Key and Value
res = {i[0]:i[1] for i in res}  # In dict format
common_keys = a.keys() & b.keys()  # {'b', 'c'}

乾杯！

2
vikas0713

両方の辞書をone辞書/配列にコピーします。 1：1の関連値があるため、これは理にかなっています。そうすれば、検索は1回だけで、比較ループは不要で、関連する値に直接アクセスできます。

結果の辞書/配列の例：

[Name][Value1][Value2]

[Actinobacter][GATCGA...TCA][8924342]

[XYZbacter][BCABCA...ABC][43594344]
</ code>

.。

0
Alex

これは、辞書で交差、結合、相違、およびその他の集合演算を実行するための私のコードです。

class DictDiffer(object):
    """
    Calculate the difference between two dictionaries as:
    (1) items added
    (2) items removed
    (3) keys same in both but changed values
    (4) keys same in both and unchanged values
    """
    def __init__(self, current_dict, past_dict):
        self.current_dict, self.past_dict = current_dict, past_dict
        self.set_current, self.set_past = set(current_dict.keys()), set(past_dict.keys())
        self.intersect = self.set_current.intersection(self.set_past)
    def added(self):
        return self.set_current - self.intersect 
    def removed(self):
        return self.set_past - self.intersect 
    def changed(self):
        return set(o for o in self.intersect if self.past_dict[o] != self.current_dict[o])
    def unchanged(self):
        return set(o for o in self.intersect if self.past_dict[o] == self.current_dict[o])

if __name__ == '__main__':
    import unittest
    class TestDictDifferNoChanged(unittest.TestCase):
        def setUp(self):
            self.past = dict((k, 2*k) for k in range(5))
            self.current = dict((k, 2*k) for k in range(3,8))
            self.d = DictDiffer(self.current, self.past)
        def testAdded(self):
            self.assertEqual(self.d.added(), set((5,6,7)))
        def testRemoved(self):      
            self.assertEqual(self.d.removed(), set((0,1,2)))
        def testChanged(self):
            self.assertEqual(self.d.changed(), set())
        def testUnchanged(self):
            self.assertEqual(self.d.unchanged(), set((3,4)))
    class TestDictDifferNoCUnchanged(unittest.TestCase):
        def setUp(self):
            self.past = dict((k, 2*k) for k in range(5))
            self.current = dict((k, 2*k+1) for k in range(3,8))
            self.d = DictDiffer(self.current, self.past)
        def testAdded(self):
            self.assertEqual(self.d.added(), set((5,6,7)))
        def testRemoved(self):      
            self.assertEqual(self.d.removed(), set((0,1,2)))
        def testChanged(self):
            self.assertEqual(self.d.changed(), set((3,4)))
        def testUnchanged(self):
            self.assertEqual(self.d.unchanged(), set())
    unittest.main()
0
hughdbrown