小さいリストよりも小さい文字列を反復処理するのが遅いのはなぜですか？

Question

私はtimeitで遊んでいて、小さな文字列に対する単純なリストの理解を行うには、小さな単一の文字列のリストで同じ操作を行うよりも時間がかかることに気付きました。説明はありますか？それはほぼ1.35倍の時間です。

>>> from timeit import timeit
>>> timeit("[x for x in 'abc']")
2.0691067844831528
>>> timeit("[x for x in ['a', 'b', 'c']]")
1.5286479570345861

これを引き起こしているより低いレベルで何が起こっているのですか？

Answer 1

TL; DR

• Python 2.の場合、オーバーヘッドの多くが除去されると、実際の速度差は70％（またはそれ以上）に近くなります。

• オブジェクト作成は、notフォールトです。 1文字の文字列がキャッシュされるため、どちらのメソッドも新しいオブジェクトを作成しません。

• 違いは明白ではありませんが、タイプと整形式に関して、文字列のインデックス作成に関するより多くのチェックから作成される可能性があります。また、返品するものを確認する必要があるためです。

• リストのインデックス作成は非常に高速です。

---

---

_>>> python3 -m timeit '[x for x in "abc"]'
1000000 loops, best of 3: 0.388 usec per loop

>>> python3 -m timeit '[x for x in ["a", "b", "c"]]'
1000000 loops, best of 3: 0.436 usec per loop
_

これはあなたが見つけたものとは異なります...

Python 2を使用する必要があります。

_>>> python2 -m timeit '[x for x in "abc"]'
1000000 loops, best of 3: 0.309 usec per loop

>>> python2 -m timeit '[x for x in ["a", "b", "c"]]'
1000000 loops, best of 3: 0.212 usec per loop
_

バージョン間の違いを説明しましょう。コンパイルされたコードを調べます。

For Python 3 ::

_import dis

def list_iterate():
    [item for item in ["a", "b", "c"]]

dis.dis(list_iterate)
#>>>   4           0 LOAD_CONST               1 (<code object <listcomp> at 0x7f4d06b118a0, file "", line 4>)
#>>>               3 LOAD_CONST               2 ('list_iterate.<locals>.<listcomp>')
#>>>               6 MAKE_FUNCTION            0
#>>>               9 LOAD_CONST               3 ('a')
#>>>              12 LOAD_CONST               4 ('b')
#>>>              15 LOAD_CONST               5 ('c')
#>>>              18 BUILD_LIST               3
#>>>              21 GET_ITER
#>>>              22 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
#>>>              25 POP_TOP
#>>>              26 LOAD_CONST               0 (None)
#>>>              29 RETURN_VALUE

def string_iterate():
    [item for item in "abc"]

dis.dis(string_iterate)
#>>>  21           0 LOAD_CONST               1 (<code object <listcomp> at 0x7f4d06b17150, file "", line 21>)
#>>>               3 LOAD_CONST               2 ('string_iterate.<locals>.<listcomp>')
#>>>               6 MAKE_FUNCTION            0
#>>>               9 LOAD_CONST               3 ('abc')
#>>>              12 GET_ITER
#>>>              13 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
#>>>              16 POP_TOP
#>>>              17 LOAD_CONST               0 (None)
#>>>              20 RETURN_VALUE
_

ここでは、毎回リストが作成されるため、リストのバリアントが遅くなる可能性が高いことがわかります。

これは

_ 9 LOAD_CONST   3 ('a')
12 LOAD_CONST   4 ('b')
15 LOAD_CONST   5 ('c')
18 BUILD_LIST   3
_

部。文字列バリアントには

_ 9 LOAD_CONST   3 ('abc')
_

これが違いを生むように見えることを確認できます：

_def string_iterate():
    [item for item in ("a", "b", "c")]

dis.dis(string_iterate)
#>>>  35           0 LOAD_CONST               1 (<code object <listcomp> at 0x7f4d068be660, file "", line 35>)
#>>>               3 LOAD_CONST               2 ('string_iterate.<locals>.<listcomp>')
#>>>               6 MAKE_FUNCTION            0
#>>>               9 LOAD_CONST               6 (('a', 'b', 'c'))
#>>>              12 GET_ITER
#>>>              13 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
#>>>              16 POP_TOP
#>>>              17 LOAD_CONST               0 (None)
#>>>              20 RETURN_VALUE
_

これはちょうど生成します

_ 9 LOAD_CONST               6 (('a', 'b', 'c'))
_

タプルは不変なので。テスト：

_>>> python3 -m timeit '[x for x in ("a", "b", "c")]'
1000000 loops, best of 3: 0.369 usec per loop
_

素晴らしい、スピードに戻って。

For Python 2 ::

_def list_iterate():
    [item for item in ["a", "b", "c"]]

dis.dis(list_iterate)
#>>>   2           0 BUILD_LIST               0
#>>>               3 LOAD_CONST               1 ('a')
#>>>               6 LOAD_CONST               2 ('b')
#>>>               9 LOAD_CONST               3 ('c')
#>>>              12 BUILD_LIST               3
#>>>              15 GET_ITER            
#>>>         >>   16 FOR_ITER                12 (to 31)
#>>>              19 STORE_FAST               0 (item)
#>>>              22 LOAD_FAST                0 (item)
#>>>              25 LIST_APPEND              2
#>>>              28 JUMP_ABSOLUTE           16
#>>>         >>   31 POP_TOP             
#>>>              32 LOAD_CONST               0 (None)
#>>>              35 RETURN_VALUE        

def string_iterate():
    [item for item in "abc"]

dis.dis(string_iterate)
#>>>   2           0 BUILD_LIST               0
#>>>               3 LOAD_CONST               1 ('abc')
#>>>               6 GET_ITER            
#>>>         >>    7 FOR_ITER                12 (to 22)
#>>>              10 STORE_FAST               0 (item)
#>>>              13 LOAD_FAST                0 (item)
#>>>              16 LIST_APPEND              2
#>>>              19 JUMP_ABSOLUTE            7
#>>>         >>   22 POP_TOP             
#>>>              23 LOAD_CONST               0 (None)
#>>>              26 RETURN_VALUE        
_

奇妙なことは、リストのsameビルドがあることですが、これはまだ高速です。 Python 2は奇妙に高速に動作しています。

理解とリタイムを削除しましょう。 __ =_は、最適化されないようにするためのものです。

_>>> python3 -m timeit '_ = ["a", "b", "c"]'
10000000 loops, best of 3: 0.0707 usec per loop

>>> python3 -m timeit '_ = "abc"'
100000000 loops, best of 3: 0.0171 usec per loop
_

初期化は、バージョン間の違いを説明するほど重要ではないことがわかります（これらの数字は小さいです）。したがって、Python 3の理解は遅くなります。これはPython 3がより安全なスコープを持つように理解を変更しました。

さて、ベンチマークを改善しました（繰り返しではないオーバーヘッドを削除しています）。これにより、iterableの建物が事前に割り当てられて削除されます。

_>>> python3 -m timeit -s 'iterable = "abc"'           '[x for x in iterable]'
1000000 loops, best of 3: 0.387 usec per loop

>>> python3 -m timeit -s 'iterable = ["a", "b", "c"]' '[x for x in iterable]'
1000000 loops, best of 3: 0.368 usec per loop
_

_>>> python2 -m timeit -s 'iterable = "abc"'           '[x for x in iterable]'
1000000 loops, best of 3: 0.309 usec per loop

>>> python2 -m timeit -s 'iterable = ["a", "b", "c"]' '[x for x in iterable]'
10000000 loops, best of 3: 0.164 usec per loop
_

iterの呼び出しがオーバーヘッドかどうかを確認できます。

_>>> python3 -m timeit -s 'iterable = "abc"'           'iter(iterable)'
10000000 loops, best of 3: 0.099 usec per loop

>>> python3 -m timeit -s 'iterable = ["a", "b", "c"]' 'iter(iterable)'
10000000 loops, best of 3: 0.1 usec per loop
_

_>>> python2 -m timeit -s 'iterable = "abc"'           'iter(iterable)'
10000000 loops, best of 3: 0.0913 usec per loop

>>> python2 -m timeit -s 'iterable = ["a", "b", "c"]' 'iter(iterable)'
10000000 loops, best of 3: 0.0854 usec per loop
_

いいえ、違います。特にPython 3.の場合、差は小さすぎます。

それでは、不要なオーバーヘッドをさらに削除しましょう...全体を遅くすることで！目的は、時間をかけてオーバーヘッドを隠すために、より長い反復を行うことです。

_>>> python3 -m timeit -s 'import random; iterable = "".join(chr(random.randint(0, 127)) for _ in range(100000))' '[x for x in iterable]'
100 loops, best of 3: 3.12 msec per loop

>>> python3 -m timeit -s 'import random; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' '[x for x in iterable]'
100 loops, best of 3: 2.77 msec per loop
_

_>>> python2 -m timeit -s 'import random; iterable = "".join(chr(random.randint(0, 127)) for _ in range(100000))' '[x for x in iterable]'
100 loops, best of 3: 2.32 msec per loop

>>> python2 -m timeit -s 'import random; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' '[x for x in iterable]'
100 loops, best of 3: 2.09 msec per loop
_

これは実際には変更されていませんmuchですが、少し助けになりました。

だから理解を削除します。問題の一部ではないオーバーヘッドです。

_>>> python3 -m timeit -s 'import random; iterable = "".join(chr(random.randint(0, 127)) for _ in range(100000))' 'for x in iterable: pass'
1000 loops, best of 3: 1.71 msec per loop

>>> python3 -m timeit -s 'import random; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' 'for x in iterable: pass'
1000 loops, best of 3: 1.36 msec per loop
_

_>>> python2 -m timeit -s 'import random; iterable = "".join(chr(random.randint(0, 127)) for _ in range(100000))' 'for x in iterable: pass'
1000 loops, best of 3: 1.27 msec per loop

>>> python2 -m timeit -s 'import random; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' 'for x in iterable: pass'
1000 loops, best of 3: 935 usec per loop
_

それはもっと似ています！ dequeを使用して反復することで、少し速くなります。基本的には同じですが、faster：

_>>> python3 -m timeit -s 'import random; from collections import deque; iterable = "".join(chr(random.randint(0, 127)) for _ in range(100000))' 'deque(iterable, maxlen=0)'
1000 loops, best of 3: 777 usec per loop

>>> python3 -m timeit -s 'import random; from collections import deque; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' 'deque(iterable, maxlen=0)'
1000 loops, best of 3: 405 usec per loop
_

_>>> python2 -m timeit -s 'import random; from collections import deque; iterable = "".join(chr(random.randint(0, 127)) for _ in range(100000))' 'deque(iterable, maxlen=0)'
1000 loops, best of 3: 805 usec per loop

>>> python2 -m timeit -s 'import random; from collections import deque; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' 'deque(iterable, maxlen=0)'
1000 loops, best of 3: 438 usec per loop
_

私が印象的なのは、Unicodeがバイト文字列と競合していることです。これを明示的に確認するには、両方でbytesとunicodeを試してください。

• bytes

  _>>> python3 -m timeit -s 'import random; from collections import deque; iterable = b"".join(chr(random.randint(0, 127)).encode("ascii") for _ in range(100000))' 'deque(iterable, maxlen=0)'                                                                    :(
  1000 loops, best of 3: 571 usec per loop
  
  >>> python3 -m timeit -s 'import random; from collections import deque; iterable =         [chr(random.randint(0, 127)).encode("ascii") for _ in range(100000)]' 'deque(iterable, maxlen=0)'
  1000 loops, best of 3: 394 usec per loop
  _

  _>>> python2 -m timeit -s 'import random; from collections import deque; iterable = b"".join(chr(random.randint(0, 127))                 for _ in range(100000))' 'deque(iterable, maxlen=0)'
  1000 loops, best of 3: 757 usec per loop
  
  >>> python2 -m timeit -s 'import random; from collections import deque; iterable =         [chr(random.randint(0, 127))                 for _ in range(100000)]' 'deque(iterable, maxlen=0)'
  1000 loops, best of 3: 438 usec per loop
  _

  Python 3実際にfaster than Python 2。

• unicode

  _>>> python3 -m timeit -s 'import random; from collections import deque; iterable = u"".join(   chr(random.randint(0, 127)) for _ in range(100000))' 'deque(iterable, maxlen=0)'
  1000 loops, best of 3: 800 usec per loop
  
  >>> python3 -m timeit -s 'import random; from collections import deque; iterable =         [   chr(random.randint(0, 127)) for _ in range(100000)]' 'deque(iterable, maxlen=0)'
  1000 loops, best of 3: 394 usec per loop
  _

  _>>> python2 -m timeit -s 'import random; from collections import deque; iterable = u"".join(unichr(random.randint(0, 127)) for _ in range(100000))' 'deque(iterable, maxlen=0)'
  1000 loops, best of 3: 1.07 msec per loop
  
  >>> python2 -m timeit -s 'import random; from collections import deque; iterable =         [unichr(random.randint(0, 127)) for _ in range(100000)]' 'deque(iterable, maxlen=0)'
  1000 loops, best of 3: 469 usec per loop
  _

  繰り返しになりますが、Python 3は高速ですが、これは予想されることです（strはPython 3）で多くの注意を払っていました。

実際、このunicode-bytesの差は非常に小さく、印象的です。

それでは、この1つのケースを分析してみましょう。それは私にとって高速で便利だからです。

_>>> python3 -m timeit -s 'import random; from collections import deque; iterable = "".join(chr(random.randint(0, 127)) for _ in range(100000))' 'deque(iterable, maxlen=0)'
1000 loops, best of 3: 777 usec per loop

>>> python3 -m timeit -s 'import random; from collections import deque; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' 'deque(iterable, maxlen=0)'
1000 loops, best of 3: 405 usec per loop
_

ティム・ピーターの10回の賛成の答えを実際に除外することができます！

_>>> foo = iterable[123]
>>> iterable[36] is foo
True
_

これらは新しいオブジェクトではありません！

しかし、これは言及する価値があります。インデックス作成コスト。違いはインデックス作成にある可能性が高いため、繰り返しを削除してインデックスを作成します。

_>>> python3 -m timeit -s 'import random; iterable = "".join(chr(random.randint(0, 127)) for _ in range(100000))' 'iterable[123]'
10000000 loops, best of 3: 0.0397 usec per loop

>>> python3 -m timeit -s 'import random; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' 'iterable[123]'
10000000 loops, best of 3: 0.0374 usec per loop
_

違いは小さいように見えますが、少なくともコストの半分はオーバーヘッドです：

_>>> python3 -m timeit -s 'import random; iterable =        [chr(random.randint(0, 127)) for _ in range(100000)]' 'iterable; 123'
100000000 loops, best of 3: 0.0173 usec per loop
_

そのため、速度の差はそれを責めるのに十分です。おもう。

では、なぜリストのインデックス作成がこれほど高速になったのでしょうか？

さて、私はそれについてあなたに戻ってきますが、私の推測ではinterned文字列（または別のメカニズムの場合はキャッシュされた文字）のチェックにかかっています。これは最適よりも速度が遅くなります。しかし、ソースを確認しに行きます（私はCに慣れていないのですが...）:)。

---

だからここにソースがあります：

_static PyObject *
unicode_getitem(PyObject *self, Py_ssize_t index)
{
    void *data;
    enum PyUnicode_Kind kind;
    Py_UCS4 ch;
    PyObject *res;

    if (!PyUnicode_Check(self) || PyUnicode_READY(self) == -1) {
        PyErr_BadArgument();
        return NULL;
    }
    if (index < 0 || index >= PyUnicode_GET_LENGTH(self)) {
        PyErr_SetString(PyExc_IndexError, "string index out of range");
        return NULL;
    }
    kind = PyUnicode_KIND(self);
    data = PyUnicode_DATA(self);
    ch = PyUnicode_READ(kind, data, index);
    if (ch < 256)
        return get_latin1_char(ch);

    res = PyUnicode_New(1, ch);
    if (res == NULL)
        return NULL;
    kind = PyUnicode_KIND(res);
    data = PyUnicode_DATA(res);
    PyUnicode_WRITE(kind, data, 0, ch);
    assert(_PyUnicode_CheckConsistency(res, 1));
    return res;
}
_

上から歩いていくと、いくつかのチェックがあります。これらは退屈です。その後、いくつかの割り当ても、退屈する必要があります。最初の興味深い行は

_ch = PyUnicode_READ(kind, data, index);
_

しかし、hopeは、インデックスを作成して連続したC配列から読み取るため、高速です。結果のchは256未満になるため、get_latin1_char(ch)にキャッシュされた文字を返します。

実行します（最初のチェックをドロップします）

_kind = PyUnicode_KIND(self);
data = PyUnicode_DATA(self);
ch = PyUnicode_READ(kind, data, index);
return get_latin1_char(ch);
_

どこで

_#define PyUnicode_KIND(op) \
    (assert(PyUnicode_Check(op)), \
     assert(PyUnicode_IS_READY(op)),            \
     ((PyASCIIObject *)(op))->state.kind)
_

（アサートはデバッグで無視されるので退屈です[したがって、それらが高速であることを確認できます]、_((PyASCIIObject *)(op))->state.kind)_は（と思う）インダイレクションおよびCレベルのキャストです。

_#define PyUnicode_DATA(op) \
    (assert(PyUnicode_Check(op)), \
     PyUnicode_IS_COMPACT(op) ? _PyUnicode_COMPACT_DATA(op) :   \
     _PyUnicode_NONCOMPACT_DATA(op))
_

（マクロ（_Something_CAPITALIZED_）がすべて高速であると仮定すると、これも同様の理由で退屈です）、

_#define PyUnicode_READ(kind, data, index) \
    ((Py_UCS4) \
    ((kind) == PyUnicode_1BYTE_KIND ? \
        ((const Py_UCS1 *)(data))[(index)] : \
        ((kind) == PyUnicode_2BYTE_KIND ? \
            ((const Py_UCS2 *)(data))[(index)] : \
            ((const Py_UCS4 *)(data))[(index)] \
        ) \
    ))
_

（これにはインデックスが含まれますが、実際にはまったく遅くありません）

_static PyObject*
get_latin1_char(unsigned char ch)
{
    PyObject *unicode = unicode_latin1[ch];
    if (!unicode) {
        unicode = PyUnicode_New(1, ch);
        if (!unicode)
            return NULL;
        PyUnicode_1BYTE_DATA(unicode)[0] = ch;
        assert(_PyUnicode_CheckConsistency(unicode, 1));
        unicode_latin1[ch] = unicode;
    }
    Py_INCREF(unicode);
    return unicode;
}
_

それは私の疑いを確認します：

• これはキャッシュされます：

  _PyObject *unicode = unicode_latin1[ch];
  _

• これは速いはずです。 if (!unicode)は実行されないため、この場合は文字通り等価です。

  _PyObject *unicode = unicode_latin1[ch];
  Py_INCREF(unicode);
  return unicode;
  _

正直なところ、assertsをテストした後（それらを無効にすることで[I thinkそれはCレベルのアサートで機能します...]）、唯一のもっとも遅い部分は次のとおりです。

_PyUnicode_IS_COMPACT(op)
_PyUnicode_COMPACT_DATA(op)
_PyUnicode_NONCOMPACT_DATA(op)
_

どちらが：

_#define PyUnicode_IS_COMPACT(op) \
    (((PyASCIIObject*)(op))->state.compact)
_

（以前と同様に高速）、

_#define _PyUnicode_COMPACT_DATA(op)                     \
    (PyUnicode_IS_ASCII(op) ?                   \
     ((void*)((PyASCIIObject*)(op) + 1)) :              \
     ((void*)((PyCompactUnicodeObject*)(op) + 1)))
_

（マクロ_IS_ASCII_が高速の場合は高速）、および

_#define _PyUnicode_NONCOMPACT_DATA(op)                  \
    (assert(((PyUnicodeObject*)(op))->data.any),        \
     ((((PyUnicodeObject *)(op))->data.any)))
_

（アサート、インダイレクション、キャストなので高速です）。

だから私たちは（ウサギの穴）に向かっています：

_PyUnicode_IS_ASCII
_

これは

_#define PyUnicode_IS_ASCII(op)                   \
    (assert(PyUnicode_Check(op)),                \
     assert(PyUnicode_IS_READY(op)),             \
     ((PyASCIIObject*)op)->state.ascii)
_

うーん...それも速いようです...

---

さて、OK、しかしそれを_PyList_GetItem_と比較しましょう。 （ええ、[thanks Tim Petersは私にもっと仕事をさせてくれて：P。）

_PyObject *
PyList_GetItem(PyObject *op, Py_ssize_t i)
{
    if (!PyList_Check(op)) {
        PyErr_BadInternalCall();
        return NULL;
    }
    if (i < 0 || i >= Py_SIZE(op)) {
        if (indexerr == NULL) {
            indexerr = PyUnicode_FromString(
                "list index out of range");
            if (indexerr == NULL)
                return NULL;
        }
        PyErr_SetObject(PyExc_IndexError, indexerr);
        return NULL;
    }
    return ((PyListObject *)op) -> ob_item[i];
}
_

エラーが発生していない場合は、これが実行されるだけであることがわかります。

_PyList_Check(op)
Py_SIZE(op)
((PyListObject *)op) -> ob_item[i]
_

ここで_PyList_Check_は

_#define PyList_Check(op) \
     PyType_FastSubclass(Py_TYPE(op), Py_TPFLAGS_LIST_SUBCLASS)
_

（ TABS！TABS !!! ）（ issue21587 ） それは修正され、5分に統合されました。ええ…ええくそー。彼らはスキートを恥じさせた。

_#define Py_SIZE(ob)             (((PyVarObject*)(ob))->ob_size)
_

_#define PyType_FastSubclass(t,f)  PyType_HasFeature(t,f)
_

_#ifdef Py_LIMITED_API
#define PyType_HasFeature(t,f)  ((PyType_GetFlags(t) & (f)) != 0)
#else
#define PyType_HasFeature(t,f)  (((t)->tp_flags & (f)) != 0)
#endif
_

そのため、_Py_LIMITED_API_がオンになっていない限り、これは通常簡単です（2つのインダイレクションと2つのブールチェック）。

次に、インデックス付けとキャスト（_((PyListObject *)op) -> ob_item[i]_）があり、完了です。

したがって、リストのチェックは間違いなくfewerであり、速度のわずかな違いは確かに関連性があることを意味します。

---

一般的に、Unicodeには型チェックと間接参照__(->)_があるだけだと思います。ポイントが足りないようですが、what？

Answer 2

ほとんどのコンテナオブジェクト（リスト、タプル、辞書など）を反復処理すると、イテレータはオブジェクトを配信しますinコンテナ。

ただし、文字列を反復処理する場合、配信される各文字に対してnewオブジェクトを作成する必要があります。文字列は、リストがコンテナであるという意味で「コンテナ」ではありません。文字列内の個々の文字は、反復がそれらのオブジェクトを作成する前に別個のオブジェクトとして存在しません。

Answer 3

文字列のイテレータを作成すると、オーバーヘッドが発生する可能性があります。一方、配列にはインスタンス化時にイテレータが既に含まれています。

編集：

>>> timeit("[x for x in ['a','b','c']]")
0.3818681240081787
>>> timeit("[x for x in 'abc']")
0.3732869625091553

これは2.7を使用して実行されましたが、私のMac Book Pro i7で実行されました。これは、システム構成の違いの結果である可能性があります。