web-dev-qa-db-ja.com

deepcopy（）は非常に遅い

Pythonに約1000個のオブジェクト（惑星系+星+惑星））のゲーム状態があり、それをコピーして、要求されたときに一連の変換を適用する必要があります。ただし、約1リクエスト/秒、これは ランタイムの24.63％を占める 高速にするにはどうすればよいですか？変換はほぼすべてに影響するため、少ないコピーはオプションではないことに注意してください。

[〜＃〜] edit [〜＃〜]：事柄に___deepcopy___を適切に実装すると、8％に下がります。それでも、十分ではありません。 （1％以下で十分です。これでもっと多くのものを投げるつもりです。）timeitはdeepcopy()ごとに41.8msと言います。

pythonoptimizationdeep-copy
31
Electro

実際、ディープコピーは非常に遅いです。ただし、json、ujson、またはcPickleを使用できます。 json/cPickleを使用してオブジェクトをダンプし、後でロードすることができます。これは私のテストです：

Total time: 3.46068 s
File: test_deepcopy.py
Function: test at line 15
Line #   Hits          Time Per Hit   % Time  Line Contents
==============================================================
15                                             @profile
16                                             def test():
17       100       957585   9575.9     27.7        b = deepcopy(a)
18       100          862      8.6      0.0        c = copy(a)
19       100        42295    422.9      1.2        d = ujson.loads(ujson.dumps(a))
20       100        85040    850.4      2.5        e = json.loads(json.dumps(a))
21       100      2323465  23234.7     67.1        f = pickle.loads(pickle.dumps(a, -1))
22       100        51434    514.3      1.5        g = cPickle.loads(cPickle.dumps(a, -1))

私たちが見ることができるように、json/ujson/cPickleはdeepcopyより高速ですが、pickle ...

34
cherish

これらのオブジェクトを保持する独自のクラスを作成する場合は、コピーとディープコピーで機能する独自のメソッドを作成できます。 http://www.rafekettler.com/magicmethods.html#copying （リンク切れ）

Githubリポジトリの新しいリンク https://github.com/RafeKettler/magicmethods

_class MyClass():
    def __copy__(self):
        copy_object = MyClass()
        return copy_object

    def __deepcopy__(self, memodict={}):
        copy_object = MyClass()
        copy_object.value = self.value
        return copy_object

if __name__ == "__main__":
    my_inst = MyClass()
    print(copy.deepcopy(my_inst))
_

これは前の壊れたリンクからの同様の説明です。

コピー

ときどき、特に変更可能なオブジェクトを扱う場合、オブジェクトをコピーし、コピー元に影響を与えずに変更できるようにしたいことがあります。ここでPythonのコピーが機能します。ただし、（幸いにも）Pythonモジュールは知覚的ではないため、Linuxベースのロボットの蜂起について心配する必要はありませんが、効率的なコピー方法をPythonに伝える必要があります事。

__copy__(self)

クラスのインスタンスのcopy.copy（）の動作を定義します。 copy.copy（）はオブジェクトの浅いコピーを返します。つまり、インスタンス自体は新しいインスタンスですが、そのすべてのデータが参照されます。つまり、オブジェクト自体はコピーされますが、そのデータは引き続き参照されます（したがって、浅いコピー内のデータを変更すると、元のデータも変更される可能性があります）。

__deepcopy__(self, memodict={})

クラスのインスタンスのcopy.deepcopy（）の動作を定義します。 copy.deepcopy（）はオブジェクトのディープコピーを返します-オブジェクトとそのデータの両方がコピーされます。 memodictは以前にコピーされたオブジェクトのキャッシュです。これにより、コピーが最適化され、再帰的なデータ構造をコピーする際の無限再帰が防止されます。個々の属性をディープコピーする場合は、最初の引数としてmemodictを使用して、その属性に対してcopy.deepcopy（）を呼び出します。これらの魔法の方法のいくつかの使用例は何ですか？いつものように、デフォルトの動作が提供するものよりもきめ細かい制御が必要な場合は常に。たとえば、キャッシュをディクショナリとして格納しているオブジェクト（サイズが大きい可能性がある）をコピーしようとしている場合、キャッシュもコピーしても意味がない可能性があります-キャッシュがインスタンス間でメモリ内で共有できる場合、そのはず。

4
justengel

いくつかのケースでdeepcopy/json/ujsonの両方を比較する高速実験を行いましたが、私の結果は特定のケースで@cherishの結果と矛盾し、ここに小さな実験を投稿します：

_import ujson
import timeit
import json
import random
import string
import copy
import ujson
import sys


def random_string(N):
    return ''.join(random.choice(string.ascii_uppercase + string.digits) for _ in range(N))


def random_json(width=5, height=5, levels=1):
    dct = {}
    lst = [random_string(4) for i in range(width)]
    lst2 = [random.randint(0, 10000) for i in range(width)]
    lst3 = [bool(random.randint(0, 1)) for i in range(width)]
    for j in range(height):
        dct[str(j)] = lst
        dct[str(width+j)] = lst2
        dct[str(2*width+j)] = lst3

    for i in range(levels):
        new_dct = {}
        for j in range(height):
            new_dct[str(j)] = dct
        dct = json.loads(json.dumps(new_dct))

    return new_dct

if __name__ == "__main__":
    print(sys.version)
    levels = 3
    for i in range(15):
        dataset = random_json(i, i, levels)
        print("Comparing deepcopy/ujson/json using random dataset({},{},{}), length {}".format(i,i,levels, len(json.dumps(dataset))))
        print(timeit.timeit('copy.deepcopy(dataset)',
                            setup='from __main__ import copy, dataset', number=10))
        print(timeit.timeit('ujson.loads(ujson.dumps(dataset))',
                            setup='from __main__ import ujson, dataset', number=10))
        print(timeit.timeit('json.loads(json.dumps(dataset))',
                            setup='from __main__ import json, dataset', number=10))
        print()
_

そして結果は次のようになります：

_3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)]
Comparing deepcopy/ujson/json using random dataset(0,0,3), length 2
2.6842977659931844e-05
0.00012039864979822371
7.776568527950847e-05

Comparing deepcopy/ujson/json using random dataset(1,1,3), length 63
0.0002731667726569534
3.552747043226263e-05
0.00012987264191349377

Comparing deepcopy/ujson/json using random dataset(2,2,3), length 1106
0.0011858280130946362
0.00034974820892205325
0.0007093651596308467

Comparing deepcopy/ujson/json using random dataset(3,3,3), length 6834
0.0042218477363672215
0.0021178319874343293
0.003378267688436718

Comparing deepcopy/ujson/json using random dataset(4,4,3), length 26572
0.011379054029782284
0.006288757016181971
0.009920059244030693

Comparing deepcopy/ujson/json using random dataset(5,5,3), length 79210
0.028879491215043435
0.027906433274870912
0.029595961868760734

Comparing deepcopy/ujson/json using random dataset(6,6,3), length 183678
0.047142979515255284
0.04682125853300759
0.06791747047568517

Comparing deepcopy/ujson/json using random dataset(7,7,3), length 395528
0.08239215142913198
0.09871347134571351
0.15347433002098887

Comparing deepcopy/ujson/json using random dataset(8,8,3), length 764920
0.1351954464835896
0.19448842613700734
0.3020533693660834

Comparing deepcopy/ujson/json using random dataset(9,9,3), length 1356570
0.24560258734724671
0.44074906118659407
0.5705849913806413

Comparing deepcopy/ujson/json using random dataset(10,10,3), length 2287770
0.3237815755327835
0.61104051671153
0.8698565598118777

Comparing deepcopy/ujson/json using random dataset(11,11,3), length 3598750
0.4958284828467452
0.9472223636741877
1.2514314609961668

Comparing deepcopy/ujson/json using random dataset(12,12,3), length 5636414
0.6261448233909714
1.4066722957969802
1.8636325417418167

Comparing deepcopy/ujson/json using random dataset(13,13,3), length 8220800
0.8396582099444547
2.061675688670409
2.755659427352441

Comparing deepcopy/ujson/json using random dataset(14,14,3), length 12018290
1.0951926990258762
2.96703050743886
4.088875914783021
_

この小さな実験からの結論は次のとおりです。

  • 辞書が小さい場合time(ujson)<time(json)<time(deepcopy)
  • 辞書が大きい場合time(deepcopy)<time(ujson)<time(json)

したがって、1秒間に作成するコピーの数と処理する辞書のタイプによって異なりますが、deepcopyまたはujsonを切り替える方が好ましいでしょう。

2
BPL

ディープコピーが不要になるように、オブジェクトに独自のコピー関数を提供できます。ディープコピーは、すべてのオブジェクトを検査して、何をコピーする必要があるかを確認します。これは高価な操作です。

0
Bort

@BPLのテストプログラムに基づいて、ARMv6互換プロセッサにマーシャルを追加

print(timeit.timeit('marshal.loads(marshal.dumps(dataset))',
       setup='from __main__ import marshal, dataset', number=1))

marshalはujsonおよびサポートセットとタプルよりも高速です

2.7.14 (default, Mar  6 2019, 13:27:55)
[GCC 7.3.0]
Comparing deepcopy/marshal/ujson/json using random dataset(0,0,1), length 2
0.000588178634644
0.000134944915771
0.000258922576904
0.00113606452942
()
Comparing deepcopy/marshal/ujson/json using random dataset(0,0,3), length 2
0.000546932220459
0.000134944915771
0.000180006027222
0.00120401382446
()
Comparing deepcopy/marshal/ujson/json using random dataset(0,0,5), length 2
0.000545978546143
0.000128984451294
0.000185966491699
0.00106000900269
()
Comparing deepcopy/marshal/ujson/json using random dataset(0,2,1), length 50
0.00154900550842
0.000281810760498
0.000414848327637
0.00174903869629
()
Comparing deepcopy/marshal/ujson/json using random dataset(0,2,3), length 242
0.00655102729797
0.000789880752563
0.00133085250854
0.00432300567627
()
Comparing deepcopy/marshal/ujson/json using random dataset(0,2,5), length 1010
0.0514280796051
0.0015549659729
0.00413513183594
0.0148711204529
()
Comparing deepcopy/marshal/ujson/json using random dataset(0,4,1), length 172
0.00250005722046
0.000365018844604
0.000761985778809
0.00263404846191
()
Comparing deepcopy/marshal/ujson/json using random dataset(0,4,3), length 2892
0.0329101085663
0.00363397598267
0.0110101699829
0.0262169837952
()
Comparing deepcopy/marshal/ujson/json using random dataset(0,4,5), length 46412
0.616458892822
0.0826110839844
0.189103841782
0.504135131836
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,0,1), length 2
0.000693082809448
0.000132083892822
0.000182867050171
0.00107002258301
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,0,3), length 2
0.000566005706787
0.000132083892822
0.000180959701538
0.00107598304749
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,0,5), length 2
0.000562906265259
0.000128984451294
0.000184059143066
0.00118517875671
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,2,1), length 258
0.00405406951904
0.000534057617188
0.00124287605286
0.00309610366821
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,2,3), length 1058
0.026270866394
0.00180387496948
0.00363302230835
0.0096640586853
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,2,5), length 4338
0.0778729915619
0.00682806968689
0.0151469707489
0.0468928813934
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,4,1), length 716
0.00720596313477
0.00100684165955
0.0215280056
0.0062358379364
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,4,3), length 11468
0.112984895706
0.0238728523254
0.0448131561279
0.0874760150909
()
Comparing deepcopy/marshal/ujson/json using random dataset(2,4,5), length 183628
1.83552503586
0.407335042953
0.617804050446
1.65498495102
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,0,1), length 2
0.000571012496948
0.000132083892822
0.000189781188965
0.00121593475342
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,0,3), length 2
0.000757932662964
0.000131130218506
0.000180959701538
0.00144195556641
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,0,5), length 2
0.00056791305542
0.000132083892822
0.000184059143066
0.00107407569885
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,2,1), length 430
0.00451302528381
0.00053596496582
0.00142502784729
0.00343203544617
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,2,3), length 1730
0.0259549617767
0.00232696533203
0.00387692451477
0.0187470912933
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,2,5), length 7026
0.112207174301
0.0119769573212
0.0211799144745
0.0547370910645
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,4,1), length 1684
0.00609397888184
0.00121903419495
0.00452899932861
0.00959086418152
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,4,3), length 26828
0.19367814064
0.0293428897858
0.0688338279724
0.140627145767
()
Comparing deepcopy/marshal/ujson/json using random dataset(4,4,5), length 433484
3.54843020439
0.590909004211
1.09412097931
2.72070598602
0
Ritzen Yang