このリンクに従ってスクレイピークラスターをセットアップします scrapy-cluster 、このコマンドを実行する前にすべてが正常です:
pip install -r requirements.txt
Requirements.txtは次のようになります。
cffi==1.2.1
characteristic==14.3.0
ConcurrentLogHandler>=0.9.1
cryptography==0.9.1
...
上記のコマンドは、requirements.txtにパッケージをインストールすることを意味すると思いますが、バージョンを指定したくないので、これに変更します:
cat requirements.txt | while read line; do pip install ${line%%[>=]*} --user;done
暗号化をインストールすると、エラーが表示されます:
build/temp.linux-x86_64-2.7/_openssl.c:12:24:fatal error:pyconfig.h:No such file or directory
#include <pyconfig.h>
私はこれを解決する方法がわかりません、私は多くの方法を試しましたが、失敗しました。私のシステムはcentos 7であり、pythonのバージョンは2.7.5(デフォルト)です。さらに、多数のURLに適用できる他のスクレイピーフレームはありますか。
Ubuntuの場合、python2
apt-get install python-dev
Ubuntuの場合、python3
apt-get install python3-dev
私は自分で解決しました。デフォルトのpython centosの場合、usr/include/python2.7 /にはpyconfg-64.hという名前のファイルしかないので、コマンドを実行します
yum install python-devel
その後、動作します。
python3.6の場合、
apt-get install python3.6-dev
そして
apt-get install libssl-dev libffi-dev
私はubuntuでpython 2を使用し、暗号化をインストールするときに同じ問題が発生しました。このコマンドを実行した後
apt-get install python-dev libssl-dev libffi-dev
それは動作します。