web-dev-qa-db-ja.com

Pythonのスクリプトから標準出力をキャプチャする

次のようなことを行うスクリプトがあるとします。

# module writer.py
import sys

def write():
    sys.stdout.write("foobar")

write関数の出力をキャプチャし、さらに処理するために変数に保存したいとします。素朴な解決策は次のとおりです。

# module mymodule.py
from writer import write

out = write()
print out.upper()

しかし、これは機能しません。私は別の解決策を考え出しますが、それは機能しますが、問題を解決するためのより良い方法があれば教えてください。ありがとう

import sys
from cStringIO import StringIO

# setup the environment
backup = sys.stdout

# ####
sys.stdout = StringIO()     # capture output
write()
out = sys.stdout.getvalue() # release output
# ####

sys.stdout.close()  # close the stream 
sys.stdout = backup # restore original stdout

print out.upper()   # post processing
pythonstdoutsys
77
Paolo

stdoutを設定するのが合理的な方法です。別の方法は、別のプロセスとして実行することです。

import subprocess

proc = subprocess.Popen(["python", "-c", "import writer; writer.write()"], stdout=subprocess.PIPE)
out = proc.communicate()[0]
print out.upper()
44
Matthew Flaschen

コードのコンテキストマネージャーバージョンを以下に示します。 2つの値のリストが生成されます。最初はstdout、2番目はstderrです。

import contextlib
@contextlib.contextmanager
def capture():
    import sys
    from cStringIO import StringIO
    oldout,olderr = sys.stdout, sys.stderr
    try:
        out=[StringIO(), StringIO()]
        sys.stdout,sys.stderr = out
        yield out
    finally:
        sys.stdout,sys.stderr = oldout, olderr
        out[0] = out[0].getvalue()
        out[1] = out[1].getvalue()

with capture() as out:
    print 'hi'
41
Jason Grout

将来の訪問者の場合：Python 3.4 contextlibはredirect_stdoutコンテキストマネージャーを介してこれを直接提供します（ Python contextlibヘルプ を参照）：

from contextlib import redirect_stdout
import io

f = io.StringIO()
with redirect_stdout(f):
    help(pow)
s = f.getvalue()
31
nodesr

または、すでにある機能を使用することもできます...

from IPython.utils.capture import capture_output

with capture_output() as c:
    print('some output')

c()

print c.stdout
10
dgrigonis

これは、元のコードに対応するデコレータです。

writer.py 同じまま：

import sys

def write():
    sys.stdout.write("foobar")

mymodule.pyわずかに変更されます。

from writer import write as _write
from decorators import capture

@capture
def write():
    return _write()

out = write()
# out post processing...

そして、ここにデコレータがあります：

def capture(f):
    """
    Decorator to capture standard output
    """
    def captured(*args, **kwargs):
        import sys
        from cStringIO import StringIO

        # setup the environment
        backup = sys.stdout

        try:
            sys.stdout = StringIO()     # capture output
            f(*args, **kwargs)
            out = sys.stdout.getvalue() # release output
        finally:
            sys.stdout.close()  # close the stream 
            sys.stdout = backup # restore original stdout

        return out # captured output wrapped in a string

    return captured
9
Paolo

Python 3以降では、sys.stdout.buffer.write()を使用して（既に）エンコードされたバイト文字列をstdoutに書き込むこともできます（Pythonの stdoutを参照） _ 3 ）。そうすると、_sys.stdout.encoding_も_sys.stdout.buffer_も利用できないため、単純なStringIOアプローチは機能しません。

Python 2.6以降では、 TextIOBase AP​​I を使用できます。これには、欠落している属性が含まれます。

_import sys
from io import TextIOWrapper, BytesIO

# setup the environment
old_stdout = sys.stdout
sys.stdout = TextIOWrapper(BytesIO(), sys.stdout.encoding)

# do some writing (indirectly)
write("blub")

# get output
sys.stdout.seek(0)      # jump to the start
out = sys.stdout.read() # read output

# restore stdout
sys.stdout.close()
sys.stdout = old_stdout

# do stuff with the output
print(out.upper())
_

このソリューションはPython 2> = 2.6およびPython 3で機能します。sys.stdout.write()はUnicode文字列のみを受け入れ、sys.stdout.buffer.write()は受け入れられることに注意してください。バイト文字列。これは古いコードには当てはまらないかもしれませんが、多くの場合、変更なしでPython 2および3で実行するように構築されたコードに当てはまります。

Stdout.bufferを使用せずにバイト文字列を直接stdoutに送信するコードをサポートする必要がある場合、このバリエーションを使用できます。

_class StdoutBuffer(TextIOWrapper):
    def write(self, string):
        try:
            return super(StdoutBuffer, self).write(string)
        except TypeError:
            # redirect encoded byte strings directly to buffer
            return super(StdoutBuffer, self).buffer.write(string)
_

バッファのエンコーディングをsys.stdout.encodingに設定する必要はありませんが、この方法を使用してスクリプト出力をテスト/比較するときに役立ちます。

6
JonnyJD

質問 here （tee部分ではなく、出力をリダイレクトする方法の例）は、os.dup2を使用してOSレベルでストリームをリダイレクトします。プログラムから生成されるコマンドにも適用されるため、これは素晴らしいことです。

3
Jeremiah Willcock

Contextmanagerソリューションが好きですが、開いているファイルとfilenoサポートで保存されたバッファが必要な場合は、このようなことをすることができます。

import six
from six.moves import StringIO


class FileWriteStore(object):
    def __init__(self, file_):
        self.__file__ = file_
        self.__buff__ = StringIO()

    def __getattribute__(self, name):
        if name in {
            "write", "writelines", "get_file_value", "__file__",
                "__buff__"}:
            return super(FileWriteStore, self).__getattribute__(name)
        return self.__file__.__getattribute__(name)

    def write(self, text):
        if isinstance(text, six.string_types):
            try:
                self.__buff__.write(text)
            except:
                pass
        self.__file__.write(text)

    def writelines(self, lines):
        try:
            self.__buff__.writelines(lines)
        except:
            pass
        self.__file__.writelines(lines)

    def get_file_value(self):
        return self.__buff__.getvalue()

つかいます

import sys
sys.stdout = FileWriteStore(sys.stdout)
print "test"
buffer = sys.stdout.get_file_value()
# you don't want to print the buffer while still storing
# else it will double in size every print
sys.stdout = sys.stdout.__file__
print buffer
3
Nathan Buckner

次の4つのオブジェクトを確認する必要があります。

from test.test_support import captured_stdout, captured_output, \
    captured_stderr, captured_stdin

例：

from writer import write

with captured_stdout() as stdout:
    write()
print stdout.getvalue().upper()

UPD：Ericがコメントで言ったように、直接使用するべきではないので、コピーして貼り付けました。

# Code from test.test_support:
import contextlib
import sys

@contextlib.contextmanager
def captured_output(stream_name):
    """Return a context manager used by captured_stdout and captured_stdin
    that temporarily replaces the sys stream *stream_name* with a StringIO."""
    import StringIO
    orig_stdout = getattr(sys, stream_name)
    setattr(sys, stream_name, StringIO.StringIO())
    try:
        yield getattr(sys, stream_name)
    finally:
        setattr(sys, stream_name, orig_stdout)

def captured_stdout():
    """Capture the output of sys.stdout:

       with captured_stdout() as s:
           print "hello"
       self.assertEqual(s.getvalue(), "hello")
    """
    return captured_output("stdout")

def captured_stderr():
    return captured_output("stderr")

def captured_stdin():
    return captured_output("stdin")
3
Oleksandr Fedorov