web-dev-qa-db-ja.com

importlibを使用してその場でソースコードを変更できるインポートフックを実装するにはどうすればよいですか？

非推奨のモジュールimpを使用して、Pythonによるインポート/実行の前に、モジュールのソースコードをその場で変更するカスタムインポートフックを作成できます。以下のsourceという名前の文字列としてソースコードを考えると、モジュールを作成するために必要な基本的なコードは次のとおりです。

module = imp.new_module(name)
sys.modules[name] = module
exec(source, module.__dict__)

impは廃止されたので、importlibと同様のことをしたいと思います。 [編集：カスタムインポートフックを構築するために置き換える必要のある他のimpメソッドがあります-したがって、私が探している答えは、単に上記のコードを置き換えることではありません。]

しかし、私はこれを行う方法を理解することができませんでした。 importlibドキュメント には 「仕様」からモジュールを作成する関数 があります。これは、私が知る限り、独自のローダーを含むオブジェクトであり、それらを再定義する明確な方法はありません。文字列からモジュールを作成できるようにします。

これを示すために 最小限の例 を作成しました。詳細については、readmeファイルを参照してください。

pythonpython-3.xpython-importlibimport-hooks
11
André

find_moduleとload_moduleはどちらも非推奨です。それぞれfind_specおよび（create_moduleおよびexec_module）モジュールに切り替える必要があります。詳細については、importlibdocumentation を参照してください。

また、それらを呼び出すシステムが異なるため、MetaPathFinderまたはPathEntryFinderのどちらを使用するかを調べる必要があります。つまり、メタパスFinderが最初に実行され、組み込みモジュールをオーバーライドできますが、パスエントリFinderは、sys.pathにあるモジュールに対して特に機能します。

以下は、輸入機械全体を交換しようとする非常に基本的な輸入業者です。関数（find_spec、create_module、およびexec_module）の使用方法を示します。

import sys
import os.path

from importlib.abc import Loader, MetaPathFinder
from importlib.util import spec_from_file_location

class MyMetaFinder(MetaPathFinder):
    def find_spec(self, fullname, path, target=None):
        if path is None or path == "":
            path = [os.getcwd()] # top level import -- 
        if "." in fullname:
            *parents, name = fullname.split(".")
        else:
            name = fullname
        for entry in path:
            if os.path.isdir(os.path.join(entry, name)):
                # this module has child modules
                filename = os.path.join(entry, name, "__init__.py")
                submodule_locations = [os.path.join(entry, name)]
            else:
                filename = os.path.join(entry, name + ".py")
                submodule_locations = None
            if not os.path.exists(filename):
                continue

            return spec_from_file_location(fullname, filename, loader=MyLoader(filename),
                submodule_search_locations=submodule_locations)

        return None # we don't know how to import this

class MyLoader(Loader):
    def __init__(self, filename):
        self.filename = filename

    def create_module(self, spec):
        return None # use default module creation semantics

    def exec_module(self, module):
        with open(self.filename) as f:
            data = f.read()

        # manipulate data some way...

        exec(data, vars(module))

def install():
    """Inserts the Finder into the import machinery"""
    sys.meta_path.insert(0, MyMetaFinder())

次は、より多くの輸入機械を再利用しようとする、もう少し繊細なバージョンです。そのため、モジュールのソースを取得する方法を定義するだけで済みます。

import sys
from os.path import isdir
from importlib import invalidate_caches
from importlib.abc import SourceLoader
from importlib.machinery import FileFinder


class MyLoader(SourceLoader):
    def __init__(self, fullname, path):
        self.fullname = fullname
        self.path = path

    def get_filename(self, fullname):
        return self.path

    def get_data(self, filename):
        """exec_module is already defined for us, we just have to provide a way
        of getting the source code of the module"""
        with open(filename) as f:
            data = f.read()
        # do something with data ...
        # eg. ignore it... return "print('hello world')"
        return data


loader_details = MyLoader, [".py"]

def install():
    # insert the path hook ahead of other path hooks
    sys.path_hooks.insert(0, FileFinder.path_hook(loader_details))
    # clear any loaders that might already be in use by the FileFinder
    sys.path_importer_cache.clear()
    invalidate_caches()
14
Dunes