web-dev-qa-db-ja.com

distutilsが正しい場所でnumpyヘッダーファイルを探すようにする

私のインストールでは、numpyのarrayobject.hは…/site-packages/numpy/core/include/numpy/arrayobject.hにあります。私はnumpyを使用する簡単なCythonスクリプトを作成しました。

cimport numpy as np

def say_hello_to(name):
    print("Hello %s!" % name)

次のdistutils setup.pyも用意しています（ Cythonユーザーガイド からコピー）。

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

ext_modules = [Extension("hello", ["hello.pyx"])]

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': build_ext},
  ext_modules = ext_modules
)

python setup.py build_ext --inplaceでビルドしようとすると、Cythonは次のことを試みます。

gcc -fno-strict-aliasing -Wno-long-double -no-cpp-precomp -mno-fused-madd \
-fno-common -dynamic -DNDEBUG -g -Os -Wall -Wstrict-prototypes -DMACOSX \
-I/usr/include/ffi -DENABLE_DTRACE -Arch i386 -Arch ppc -pipe \
-I/System/Library/Frameworks/Python.framework/Versions/2.5/include/python2.5 \
-c hello.c -o build/temp.macosx-10.5-i386-2.5/hello.o

予想通り、これはarrayobject.hを見つけることができません。 distutilsにnumpyインクルードファイルの正しい場所を使用させるには（ユーザーに$ CFLAGSを定義させずに）どうすればよいですか？

pythonnumpydistutilscython
44
Vebjorn Ljosa

numpy.get_include()を使用：

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
import numpy as np                           # <---- New line

ext_modules = [Extension("hello", ["hello.pyx"])]

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': build_ext},
  include_dirs = [np.get_include()],         # <---- New line
  ext_modules = ext_modules
)
68
Vebjorn Ljosa

@ vebjorn-ljosaの回答は正しいですが、install_requires=['numpy']と組み合わせて使用​​すると問題が発生します。この状況では、setup.pyはnumpyをインポートする必要があるため、最初にpip installを実行せずにプロジェクトをpip install numpyしようとするとエラーが発生します。

プロジェクトがnumpyに依存しており、numpyを依存関係として自動的にインストールする場合は、拡張機能が実際にビルドされているときにのみinclude_dirsを設定する必要があります。これを行うには、build_extをサブクラス化します。

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

class CustomBuildExtCommand(build_ext):
    """build_ext command for use when numpy headers are needed."""
    def run(self):

        # Import numpy here, only when headers are needed
        import numpy

        # Add numpy headers to include_dirs
        self.include_dirs.append(numpy.get_include())

        # Call original build_ext command
        build_ext.run(self)

ext_modules = [Extension("hello", ["hello.pyx"])]

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': CustomBuildExtCommand},
  install_requires=['numpy'],
  ext_modules = ext_modules
)

そして、同様のトリックを使用して、cythonを自動的にインストールされる依存関係として追加できます。

from distutils.core import setup
from distutils.extension import Extension

try:
    from Cython.setuptools import build_ext
except:
    # If we couldn't import Cython, use the normal setuptools
    # and look for a pre-compiled .c file instead of a .pyx file
    from setuptools.command.build_ext import build_ext
    ext_modules = [Extension("hello", ["hello.c"])]
else:
    # If we successfully imported Cython, look for a .pyx file
    ext_modules = [Extension("hello", ["hello.pyx"])]

class CustomBuildExtCommand(build_ext):
    """build_ext command for use when numpy headers are needed."""
    def run(self):

        # Import numpy here, only when headers are needed
        import numpy

        # Add numpy headers to include_dirs
        self.include_dirs.append(numpy.get_include())

        # Call original build_ext command
        build_ext.run(self)

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': CustomBuildExtCommand},
  install_requires=['cython', 'numpy'],
  ext_modules = ext_modules
)

注：これらのアプローチはpip install .でのみ機能します。これらはpython setup.py installまたはpython setup.py developでは機能しません。これらのコマンドでは、依存関係がプロジェクトの前ではなく、プロジェクトの後にインストールされるためです。

26
R_Beagrie

Cythonを使用していない場合は、R_Beagrieのソリューションを少し変更するだけで、Cythonの代わりにdistutils.command.build_extからbuild_extをインポートするだけです。

from distutils.core import setup
from distutils.extension import Extension
from distutils.command.build_ext import build_ext

class CustomBuildExtCommand(build_ext):
    """build_ext command for use when numpy headers are needed."""
    def run(self):

        # Import numpy here, only when headers are needed
        import numpy

        # Add numpy headers to include_dirs
        self.include_dirs.append(numpy.get_include())

        # Call original build_ext command
        build_ext.run(self)

ext_modules = [Extension("hello", ["hello.c"])]

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': CustomBuildExtCommand},
  install_requires=['numpy'],
  ext_modules = ext_modules
)
0
tgbrooks