web-dev-qa-db-ja.com

gensimのインストール中に警告をチャンク化します

私はgensimを（pip経由で）Pythonにインストールしました。インストールが終了すると、次の警告が表示されます。

C：\ Python27\lib\site-packages\gensim\utils.py：855：UserWarning：検出されたWindows; chunkize_serialへのエイリアス化warningize.warn（ "検出されたWindows; chunkize_serialへのチャンク化のエイリアス化）

どうすれば修正できますか？

この警告のため、gensim.modelsからWord2vecをインポートできません。

次の構成があります：Python 2.7、gensim-0.13.4.1、numpy-1.11.3、scipy-0.18.1、pattern-2.6。

pythongensim
15
user7420652

このコードでメッセージを抑制することができますbefore gensimのインポート：

import warnings
warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')

import gensim
32
Roland Pihlakas

大きな問題ではないと思います。 Gensimは、特定のOSを使用しているため、chunkizeを別の機能にエイリアスすることを通知します。

gensim.utils からこのコードを確認してください

if os.name == 'nt':
    logger.info("detected Windows; aliasing chunkize to chunkize_serial")

    def chunkize(corpus, chunksize, maxsize=0, as_numpy=False):
        for chunk in chunkize_serial(corpus, chunksize, as_numpy=as_numpy):
            yield chunk
else:
    def chunkize(corpus, chunksize, maxsize=0, as_numpy=False):
    """
    Split a stream of values into smaller chunks.
    Each chunk is of length `chunksize`, except the last one which may be smaller.
    A once-only input stream (`corpus` from a generator) is ok, chunking is done
    efficiently via itertools.

    If `maxsize > 1`, don't wait idly in between successive chunk `yields`, but
    rather keep filling a short queue (of size at most `maxsize`) with forthcoming
    chunks in advance. This is realized by starting a separate process, and is
    meant to reduce I/O delays, which can be significant when `corpus` comes
    from a slow medium (like harddisk).

    If `maxsize==0`, don't fool around with parallelism and simply yield the chunksize
    via `chunkize_serial()` (no I/O optimizations).

    >>> for chunk in chunkize(range(10), 4): print(chunk)
    [0, 1, 2, 3]
    [4, 5, 6, 7]
    [8, 9]

    """
    assert chunksize > 0

    if maxsize > 0:
        q = multiprocessing.Queue(maxsize=maxsize)
        worker = InputQueue(q, corpus, chunksize, maxsize=maxsize, as_numpy=as_numpy)
        worker.daemon = True
        worker.start()
        while True:
            chunk = [q.get(block=True)]
            if chunk[0] is None:
                break
            yield chunk.pop()
    else:
        for chunk in chunkize_serial(corpus, chunksize, as_numpy=as_numpy):
            yield chunk
15
Dongmin Pete Shin