web-dev-qa-db-ja.com

すべてのPython標準ライブラリモジュールのリストを取得するにはどうすればよいですか？

標準ライブラリ以外はsys.builtin_module_namesのようなものが欲しいです。うまくいかなかった他のこと：

  • sys.modules-すでにロードされているモジュールのみを表示します
  • sys.prefix-非標準ライブラリモジュールを含むパスEDIT：そしてvirtualenv内では機能していないようです。

このリストが必要な理由は、traceの--ignore-moduleまたは--ignore-dirコマンドラインオプションにリストを渡すことができるようにするためです http://docs.python.org/ library/trace.html

したがって、最終的には、traceまたはsys.settraceを使用するときにすべての標準ライブラリモジュールを無視する方法を知りたいと思います。

編集：virtualenv内で動作させたい。 http://pypi.python.org/pypi/virtualenv

EDIT2：すべての環境で機能するようにしたい（つまり、オペレーティングシステム全体、virtualenvの内外で）

pythonvirtualenvstd
38
saltycrane

標準ライブラリの一部を自分で理解してみませんか？

import distutils.sysconfig as sysconfig
import os
std_lib = sysconfig.get_python_lib(standard_lib=True)
for top, dirs, files in os.walk(std_lib):
    for nm in files:
        if nm != '__init__.py' and nm[-3:] == '.py':
            print os.path.join(top, nm)[len(std_lib)+1:-3].replace(os.sep, '.')

与える

abc
aifc
antigravity
--- a bunch of other files ----
xml.parsers.expat
xml.sax.expatreader
xml.sax.handler
xml.sax.saxutils
xml.sax.xmlreader
xml.sax._exceptions

編集：非標準のライブラリモジュールを回避する必要がある場合は、site-packagesを回避するためのチェックを追加することをお勧めします。

13
Caspar

2015年にまだ誰かがこれを読んでいる場合、私は同じ問題に遭遇し、既存のソリューションのいずれも気に入らなかった。そこで、公式のPythonドキュメントの標準ライブラリページの目次をスクレイプするコードを書くことで、ブルートフォース攻撃を行いました。また、標準ライブラリのリストを取得するための簡単なAPIを作成しました（for = Pythonバージョン2.6、2.7、3.2、3.3、および3.4​​）。

パッケージは ここ であり、その使用法はかなり単純です：

>>> from stdlib_list import stdlib_list
>>> libraries = stdlib_list("2.7")
>>> libraries[:10]
['AL', 'BaseHTTPServer', 'Bastion', 'CGIHTTPServer', 'ColorPicker', 'ConfigParser', 'Cookie', 'DEVICE', 'DocXMLRPCServer', 'EasyDialogs']
28
user554546

これを見てください、 https://docs.python.org/3/py-modindex.html 彼らは標準モジュールのインデックスページを作成しました。

10
Edmund

これは、クロスプラットフォームではなく、トップレベルモジュール（例：email）、動的にロードされるモジュール（例：array）、およびコア組み込みモジュールを見逃しているCasparの回答を改善したものです。 （例：sys）：

import distutils.sysconfig as sysconfig
import os
import sys

std_lib = sysconfig.get_python_lib(standard_lib=True)

for top, dirs, files in os.walk(std_lib):
    for nm in files:
        prefix = top[len(std_lib)+1:]
        if prefix[:13] == 'site-packages':
            continue
        if nm == '__init__.py':
            print top[len(std_lib)+1:].replace(os.path.sep,'.')
        Elif nm[-3:] == '.py':
            print os.path.join(prefix, nm)[:-3].replace(os.path.sep,'.')
        Elif nm[-3:] == '.so' and top[-11:] == 'lib-dynload':
            print nm[0:-3]

for builtin in sys.builtin_module_names:
    print builtin

これは、os.pathなどのコードを介してプラットフォームに依存する方法でos.py内から定義されるimport posixpath as pathのようなものを見逃すため、まだ完全ではありませんが、おそらくあなたと同じくらい良いでしょう。 Pythonは動的言語であり、実行時に実際に定義されるまで、どのモジュールが定義されているかを実際に知ることはできないことを念頭に置いてください。

6
Adam Spiers

これが2011年の質問に対する2014年の回答です-

インポートをクリーンアップするツールである isort の作成者は、サードパーティのインポートの前にコアライブラリのインポートを注文する必要があるというpep8要件を満たすために、この同じ問題に取り組む必要がありました。

私はこのツールを使用していますが、うまく機能しているようです。ファイルplace_moduleでメソッドisort.pyを使用できます。これはオープンソースであるため、作成者がここでロジックを再現してもかまわないことを願っています。

def place_module(self, moduleName):
    """Tries to determine if a module is a python std import, third party import, or project code:

    if it can't determine - it assumes it is project code

    """
    if moduleName.startswith("."):
        return SECTIONS.LOCALFOLDER

    index = moduleName.find('.')
    if index:
        firstPart = moduleName[:index]
    else:
        firstPart = None

    for forced_separate in self.config['forced_separate']:
        if moduleName.startswith(forced_separate):
            return forced_separate

    if moduleName == "__future__" or (firstPart == "__future__"):
        return SECTIONS.FUTURE
    Elif moduleName in self.config['known_standard_library'] or \
            (firstPart in self.config['known_standard_library']):
        return SECTIONS.STDLIB
    Elif moduleName in self.config['known_third_party'] or (firstPart in self.config['known_third_party']):
        return SECTIONS.THIRDPARTY
    Elif moduleName in self.config['known_first_party'] or (firstPart in self.config['known_first_party']):
        return SECTIONS.FIRSTPARTY

    for prefix in PYTHONPATH:
        module_path = "/".join((prefix, moduleName.replace(".", "/")))
        package_path = "/".join((prefix, moduleName.split(".")[0]))
        if (os.path.exists(module_path + ".py") or os.path.exists(module_path + ".so") or
           (os.path.exists(package_path) and os.path.isdir(package_path))):
            if "site-packages" in prefix or "dist-packages" in prefix:
                return SECTIONS.THIRDPARTY
            Elif "python2" in prefix.lower() or "python3" in prefix.lower():
                return SECTIONS.STDLIB
            else:
                return SECTIONS.FIRSTPARTY

    return SECTION_NAMES.index(self.config['default_section'])

明らかに、クラスと設定ファイルのコンテキストでこのメソッドを使用する必要があります。これは基本的に、既知のコアlibインポートの静的リストのフォールバックです。

# Note that none of these lists must be complete as they are simply fallbacks for when included auto-detection fails.
default = {'force_to_top': [],
           'skip': ['__init__.py', ],
           'line_length': 80,
           'known_standard_library': ["abc", "anydbm", "argparse", "array", "asynchat", "asyncore", "atexit", "base64",
                                      "BaseHTTPServer", "bisect", "bz2", "calendar", "cgitb", "cmd", "codecs",
                                      "collections", "commands", "compileall", "ConfigParser", "contextlib", "Cookie",
                                      "copy", "cPickle", "cProfile", "cStringIO", "csv", "datetime", "dbhash", "dbm",
                                      "decimal", "difflib", "dircache", "dis", "doctest", "dumbdbm", "EasyDialogs",
                                      "errno", "exceptions", "filecmp", "fileinput", "fnmatch", "fractions",
                                      "functools", "gc", "gdbm", "getopt", "getpass", "gettext", "glob", "grp", "gzip",
                                      "hashlib", "heapq", "hmac", "imaplib", "imp", "inspect", "itertools", "json",
                                      "linecache", "locale", "logging", "mailbox", "math", "mhlib", "mmap",
                                      "multiprocessing", "operator", "optparse", "os", "pdb", "pickle", "pipes",
                                      "pkgutil", "platform", "plistlib", "pprint", "profile", "pstats", "pwd", "pyclbr",
                                      "pydoc", "Queue", "random", "re", "readline", "resource", "rlcompleter",
                                      "robotparser", "sched", "select", "shelve", "shlex", "shutil", "signal",
                                      "SimpleXMLRPCServer", "site", "sitecustomize", "smtpd", "smtplib", "socket",
                                      "SocketServer", "sqlite3", "string", "StringIO", "struct", "subprocess", "sys",
                                      "sysconfig", "tabnanny", "tarfile", "tempfile", "textwrap", "threading", "time",
                                      "timeit", "trace", "traceback", "unittest", "urllib", "urllib2", "urlparse",
                                      "usercustomize", "uuid", "warnings", "weakref", "webbrowser", "whichdb", "xml",
                                      "xmlrpclib", "zipfile", "zipimport", "zlib", 'builtins', '__builtin__'],
           'known_third_party': ['google.appengine.api'],
           'known_first_party': [],

- -をちょきちょきと切る - -

Isortモジュールに出くわす前に、私はすでにこのツールを自分で作成するのに1時間かかりました。したがって、これが他の誰かが車輪の再発明を回避するのにも役立つことを願っています。

5
wim

これはあなたを近づけるでしょう：

import sys; import glob
glob.glob(sys.prefix + "/lib/python%d.%d" % (sys.version_info[0:2]) + "/*.py")

ignore-dirオプションの別の可能性：

os.pathsep.join(sys.path)
2
Keith

公式ドキュメントの標準ライブラリリファレンスを参照します。このリファレンスには、各モジュールのセクションがあるライブラリ全体が記載されています。 :)

2
Karl Knechtel