web-dev-qa-db-ja.com

Windows 10およびPython 3.5.3 :: Anacondaカスタム（64ビット）でモデル 'en_core_web_sm'が見つからない

spacy.load('en_core_web_sm')とspacy.load('en')の違いは何ですか？ このリンク は、さまざまなモデルサイズについて説明しています。しかし、私はspacy.load('en_core_web_sm')とspacy.load('en')がどのように異なるかはまだ明確ではありません

spacy.load('en')はうまく動作します。しかし、spacy.load('en_core_web_sm')はエラーをスローします

以下にspacyasをインストールしました。 jupyter Notebookに移動してコマンドnlp = spacy.load('en_core_web_sm')を実行すると、次のエラーが発生します

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-4-b472bef03043> in <module>()
      1 # Import spaCy and load the language library
      2 import spacy
----> 3 nlp = spacy.load('en_core_web_sm')
      4 
      5 # Create a Doc object

C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\spacy\__init__.py in load(name, **overrides)
     13     if depr_path not in (True, False, None):
     14         deprecation_warning(Warnings.W001.format(path=depr_path))
---> 15     return util.load_model(name, **overrides)
     16 
     17 

C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\spacy\util.py in load_model(name, **overrides)
    117     Elif hasattr(name, 'exists'):  # Path or Path-like to model data
    118         return load_model_from_path(name, **overrides)
--> 119     raise IOError(Errors.E050.format(name=name))
    120 
    121 

OSError: [E050] Can't find model 'en_core_web_sm'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory.

spacyのインストール方法---

(C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder) C:\Users\nikhizzz>conda install -c conda-forge spacy
Fetching package metadata .............
Solving package specifications: .

Package plan for installation in environment C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder:

The following NEW packages will be INSTALLED:

    blas:           1.0-mkl
    cymem:          1.31.2-py35h6538335_0    conda-forge
    dill:           0.2.8.2-py35_0           conda-forge
    msgpack-numpy:  0.4.4.2-py_0             conda-forge
    murmurhash:     0.28.0-py35h6538335_1000 conda-forge
    plac:           0.9.6-py_1               conda-forge
    preshed:        1.0.0-py35h6538335_0     conda-forge
    pyreadline:     2.1-py35_1000            conda-forge
    regex:          2017.11.09-py35_0        conda-forge
    spacy:          2.0.12-py35h830ac7b_0    conda-forge
    termcolor:      1.1.0-py_2               conda-forge
    thinc:          6.10.3-py35h830ac7b_2    conda-forge
    tqdm:           4.29.1-py_0              conda-forge
    ujson:          1.35-py35hfa6e2cd_1001   conda-forge

The following packages will be UPDATED:

    msgpack-python: 0.4.8-py35_0                         --> 0.5.6-py35he980bc4_3 conda-forge

The following packages will be DOWNGRADED:

    freetype:       2.7-vc14_2               conda-forge --> 2.5.5-vc14_2

Proceed ([y]/n)? y

blas-1.0-mkl.t 100% |###############################| Time: 0:00:00   0.00  B/s
cymem-1.31.2-p 100% |###############################| Time: 0:00:00   1.65 MB/s
msgpack-python 100% |###############################| Time: 0:00:00   5.37 MB/s
murmurhash-0.2 100% |###############################| Time: 0:00:00   1.49 MB/s
plac-0.9.6-py_ 100% |###############################| Time: 0:00:00   0.00  B/s
pyreadline-2.1 100% |###############################| Time: 0:00:00   4.62 MB/s
regex-2017.11. 100% |###############################| Time: 0:00:00   3.31 MB/s
termcolor-1.1. 100% |###############################| Time: 0:00:00 187.81 kB/s
tqdm-4.29.1-py 100% |###############################| Time: 0:00:00   2.51 MB/s
ujson-1.35-py3 100% |###############################| Time: 0:00:00   1.66 MB/s
dill-0.2.8.2-p 100% |###############################| Time: 0:00:00   4.34 MB/s
msgpack-numpy- 100% |###############################| Time: 0:00:00   0.00  B/s
preshed-1.0.0- 100% |###############################| Time: 0:00:00   0.00  B/s
thinc-6.10.3-p 100% |###############################| Time: 0:00:00   5.49 MB/s
spacy-2.0.12-p 100% |###############################| Time: 0:00:10   7.42 MB/s

(C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder) C:\Users\nikhizzz>python -V
Python 3.5.3 :: Anaconda custom (64-bit)

(C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder) C:\Users\nikhizzz>python -m spacy download en
Collecting en_core_web_sm==2.0.0 from https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-2.0.0/en_core_web_sm-2.0.0.tar.gz#Egg=en_core_web_sm==2.0.0
  Downloading https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-2.0.0/en_core_web_sm-2.0.0.tar.gz (37.4MB)
    100% |################################| 37.4MB ...
Installing collected packages: en-core-web-sm
  Running setup.py install for en-core-web-sm ... done
Successfully installed en-core-web-sm-2.0.0

    Linking successful
    C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\en_core_web_sm
    -->
    C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder\lib\site-packages\spacy\data\en

    You can now load the model via spacy.load('en')


(C:\Users\nikhizzz\AppData\Local\conda\conda\envs\tensorflowspyder) C:\Users\nikhizzz>
python-3.xspacy
16
user2543622

あなたの誤解に対する答えは、Unixの概念softlinksです。これは、Windowsではショートカットに似ていると言えるでしょう。これを説明しましょう。

spacy download enを実行すると、spaCyはspaCy分布に一致する最適なsmallモデルを見つけようとします。私が話している小さなモデルのデフォルトはen_core_web_smです。これは、さまざまなspaCyバージョンに対応するさまざまなバリエーションで見つけることができます（たとえば、spacy、spacy-nightlyにはen_core_web_smがあります。サイズが異なります）。

SpaCyが最適なモデルを見つけると、それをダウンロードし、ダウンロードしたパッケージへのlinks名前enをダウンロードします。 en_core_web_sm。つまり、enを参照するときはいつでも、en_core_web_smを参照することになります。言い換えると、リンク後のenは「実際の」パッケージではなく、en_core_web_smの単なる名前です。

ただし、それは他の方法では機能しません。インストールされていることをシステムが認識していないため、en_core_web_smを直接参照することはできません。 spacy download enを実行したとき、基本的にはピップインストールを実行しました。したがって、pipはenという名前のパッケージがpythonディストリビューションにインストールされていることを認識していますが、パッケージen_core_web_smについては何も認識していません。このパッケージは、パッケージenをインポートすると、パッケージenはen_core_web_smへのソフトリンクにすぎません。

もちろん、en_core_web_smコマンドを使用してpython -m spacy download en_core_web_smを直接ダウンロードすることも、名前enを他のモデルにリンクすることもできます。たとえば、python -m spacy download en_core_web_lgを実行してから、python -m spacy link en_core_web_lg enを実行できます。これにより、enはen_core_web_lgの名前になります。これは、英語の大規模なspaCyモデルです。

それが今明らかであることを願っています:)

16
gdaras

最初に、anacondaプロンプトで次のステートメントを使用して2つのenパッケージをダウンロードしました。

python -m spacy download en_core_web_lg
python -m spacy download en_core_web_sm

しかし、リンケージエラーが発生し続け、最後に以下のコマンドを実行すると、リンクを確立してエラーを解決できました。

python -m spacy download en
14
Tarun Reddy

Anaconda Promptから管理者としてインストールした後でも問題が解決しない場合は、ここで簡単に修正できます。

1）ダウンロードしたパスに移動します。たとえば.

C：\ Users\name\AppData\Local\Continuum\anaconda3\Lib\site-packages\en_core_web_sm\en_core_web_sm-2.2.0

2）パスをコピーします。

3）貼り付けます：nlp = spacy.load（r'C：\ Users\name\AppData\Local\Continuum\anaconda3\Lib\site-packages\en_core_web_sm\en_core_web_sm-2.2.0 '）

4）魅力のように動作します:)

PS：spacyバージョンを確認してください

4
Harshit Singh

以下は私のために働きました：

import en_core_web_sm

nlp = en_core_web_sm.load()
2
Dipanwita Mallick

Anaconda Navigatorを開きます。任意のIDEをクリックします。コードを実行します。

!pip install -U spacy download en_core_web_sm
!pip install -U spacy download en_core_web_sm

それが動作します。開いている場合IDEを直接閉じて、この手順を1回実行します。

1
saikrishna pulipati