web-dev-qa-db-ja.com

C共有ライブラリがPythonのstdoutに出力されないようにするにはどうすればよいですか？

Stdoutに出力するC共有ライブラリをインポートするpython libを使用しています。パイプで使用したり、ファイルにリダイレクトしたりするために、クリーンな出力が必要です。印刷は外部で行われます。共有ライブラリ内のpython。

当初、私のアプローチは次のとおりでした。

# file: test.py
import os
from ctypes import *
from tempfile import mktemp

libc = CDLL("libc.so.6")

print # That's here on purpose, otherwise hello Word is always printed

tempfile = open(mktemp(),'w')
savestdout = os.dup(1)
os.close(1)
if os.dup(tempfile.fileno()) != 1:
    assert False, "couldn't redirect stdout - dup() error"

# let's pretend this is a call to my library
libc.printf("hello world\n")

os.close(1)
os.dup(savestdout)
os.close(savestdout)

この最初のアプローチは半分機能しています。
-何らかの理由で、stdoutを移動する直前に「print」ステートメントが必要です。そうしないと、helloWordが常に出力されます。その結果、ライブラリが通常出力するすべてのファズではなく、空の行が出力されます。
-さらに厄介なことに、ファイルにリダイレクトすると失敗します。

$python test.py > foo && cat foo

hello world

私の2番目のpythonの試みは、コメントで与えられた別の同様のスレッドから着想を得ました：

import os
import sys
from ctypes import *
libc = CDLL("libc.so.6")

devnull = open('/dev/null', 'w')
oldstdout = os.dup(sys.stdout.fileno())
os.dup2(devnull.fileno(), 1)

# We still pretend this is a call to my library
libc.printf("hello\n")

os.dup2(oldstdout, 1)

これも「こんにちは」の印刷を防ぐことができません。

これは少し低レベルだと感じたので、ctypesを完全に使用することにしました。私は何も印刷しないこのCプログラムからインスピレーションを得ました：

#include <stdio.h>

int main(int argc, const char *argv[]) {
    char buf[20];
    int saved_stdout = dup(1);
    freopen("/dev/null", "w", stdout);

    printf("hello\n"); // not printed

    sprintf(buf, "/dev/fd/%d", saved_stdout);
    freopen(buf, "w", stdout);

    return 0;
}

次の例を作成しました。

from ctypes import *
libc = CDLL("libc.so.6")

saved_stdout = libc.dup(1)
stdout = libc.fdopen(1, "w")
libc.freopen("/dev/null", "w", stdout);

libc.printf("hello\n")

libc.freopen("/dev/fd/" + str(saved_stdout), "w", stdout)

これは、printfの直後にlibc.fflush（stdout）を実行した場合でも、「hello」を出力します。私はPythonでやりたいことができないかもしれないと思い始めています。または、stdoutへのファイルポインタを取得する方法が正しくない可能性があります。

どう思いますか？

pythonctypespython-2.x
41
user48678

@ Yinon Ehrlichの回答 に基づいています。このバリアントは、ファイル記述子のリークを回避しようとします。

import os
import sys
from contextlib import contextmanager

@contextmanager
def stdout_redirected(to=os.devnull):
    '''
    import os

    with stdout_redirected(to=filename):
        print("from Python")
        os.system("echo non-Python applications are also supported")
    '''
    fd = sys.stdout.fileno()

    ##### assert that Python and C stdio write using the same file descriptor
    ####assert libc.fileno(ctypes.c_void_p.in_dll(libc, "stdout")) == fd == 1

    def _redirect_stdout(to):
        sys.stdout.close() # + implicit flush()
        os.dup2(to.fileno(), fd) # fd writes to 'to' file
        sys.stdout = os.fdopen(fd, 'w') # Python writes to fd

    with os.fdopen(os.dup(fd), 'w') as old_stdout:
        with open(to, 'w') as file:
            _redirect_stdout(to=file)
        try:
            yield # allow code to be run with the redirected stdout
        finally:
            _redirect_stdout(to=old_stdout) # restore stdout.
                                            # buffering and flags such as
                                            # CLOEXEC may be different
23
jfs

ええ、あなたは本当にあなたの2番目のアイデアのようにos.dup2の代わりにos.dupを使いたいです。あなたのコードはやや回りくどいように見えます。 /devを除いて、/dev/nullエントリをいじくり回さないでください。不要です。ここでCで何かを書く必要もありません。

秘訣は、stdoutを使用してdup fdesを保存し、それをfdopenに渡して、新しいsys.stdout Pythonオブジェクトを作成することです。一方、 fdesを/dev/nullに開き、dup2を使用して既存のstdout fdesを上書きします。次に、古いfdesを/dev/nullに閉じます。openに必要なfdesがわからないため、dup2を呼び出す必要があります。戻るには、dup2が実際にそれを行う唯一の方法です。

編集：また、ファイルにリダイレクトする場合、stdoutは行バッファーされないため、フラッシュする必要があります。これはPythonから実行でき、Cと正しく相互運用されます。もちろん、stdoutに何かを書き込む前にこの関数を呼び出す場合は、問題ありません。 。

これは、私のシステムで動作する、テストしたばかりの例です。

import zook
import os
import sys

def redirect_stdout():
    print "Redirecting stdout"
    sys.stdout.flush() # <--- important when redirecting to files
    newstdout = os.dup(1)
    devnull = os.open(os.devnull, os.O_WRONLY)
    os.dup2(devnull, 1)
    os.close(devnull)
    sys.stdout = os.fdopen(newstdout, 'w')

zook.myfunc()
redirect_stdout()
zook.myfunc()
print "But python can still print to stdout..."

「zook」モジュールは、Cの非常に単純なライブラリです。

#include <Python.h>
#include <stdio.h>

static PyObject *
myfunc(PyObject *self, PyObject *args)
{
    puts("myfunc called");
    Py_INCREF(Py_None);
    return Py_None;
}

static PyMethodDef zookMethods[] = {
    {"myfunc",  myfunc, METH_VARARGS, "Print a string."},
    {NULL, NULL, 0, NULL}
};

PyMODINIT_FUNC
initzook(void)
{
    (void)Py_InitModule("zook", zookMethods);
}

そして出力？

$ python2.5 test.py
myfunc called
Redirecting stdout
But python can still print to stdout...

そして、ファイルにリダイレクトしますか？

$ python2.5 test.py > test.txt
$ cat test.txt
myfunc called
Redirecting stdout
But python can still print to stdout...
16
Dietrich Epp

両方の答えを組み合わせる-- https://stackoverflow.com/a/5103455/1820106 ＆ https://stackoverflow.com/a/4178672/1820106 ブロックするコンテキストマネージャーそのスコープに対してのみstdoutに出力します（最初の回答のコードは外部出力をブロックし、後者の回答は最後にsys.stdout.flush（）を見逃しました）：

class HideOutput(object):
    '''
    A context manager that block stdout for its scope, usage:

    with HideOutput():
        os.system('ls -l')
    '''

    def __init__(self, *args, **kw):
        sys.stdout.flush()
        self._origstdout = sys.stdout
        self._oldstdout_fno = os.dup(sys.stdout.fileno())
        self._devnull = os.open(os.devnull, os.O_WRONLY)

    def __enter__(self):
        self._newstdout = os.dup(1)
        os.dup2(self._devnull, 1)
        os.close(self._devnull)
        sys.stdout = os.fdopen(self._newstdout, 'w')

    def __exit__(self, exc_type, exc_val, exc_tb):
        sys.stdout = self._origstdout
        sys.stdout.flush()
        os.dup2(self._oldstdout_fno, 1)
12
Yinon Ehrlich

これが私がついにやった方法です。これが他の人にも役立つことを願っています（これは私のLinuxステーションで機能します）。

外部ライブラリをシャットダウンするために設計されたlibshutupを誇らしげに紹介します。

1）次のファイルをコピーします

// file: shutup.c
#include <stdio.h>
#include <unistd.h>

static char buf[20];
static int saved_stdout;

void stdout_off() {
    saved_stdout = dup(1);
    freopen("/dev/null", "w", stdout);
}

void stdout_on() {
    sprintf(buf, "/dev/fd/%d", saved_stdout);
    freopen(buf, "w", stdout);
}

2）共有ライブラリとしてコンパイルする

gcc -Wall -shared shutup.c -fPIC -o libshutup.so

3）このようなコードで使用してください

from ctypes import *
shutup = CDLL("libshutup.so")

shutup.stdout_off()

# Let's pretend this printf comes from the external lib
libc = CDLL("libc.so.6")
libc.printf("hello\n")

shutup.stdout_on()
4
user48678