Python - subprocess.Popenに文字列を渡す方法(引数stdinを使用)
私が次のようにすれば:
import subprocess
from cStringIO import StringIO
subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=StringIO('one\ntwo\nthree\nfour\nfive\nsix\n')).communicate()[0]
私は得ます:
Traceback (most recent call last):
File "<stdin>", line 1, in ?
File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 533, in __init__
(p2cread, p2cwrite,
File "/build/toolchain/mac32/python-2.4.3/lib/python2.4/subprocess.py", line 830, in _get_handles
p2cread = stdin.fileno()
AttributeError: 'cStringIO.StringI' object has no attribute 'fileno'
明らかにcStringIO.StringIOオブジェクトはsubprocess.Popenに適するようにファイルアヒルに十分に接近していません。これを回避するにはどうすればよいですか。
Popen.communicate()
ドキュメント
プロセスの標準入力にデータを送信したい場合は、stdin = PIPEを指定してPopenオブジェクトを作成する必要があります。同様に、結果のタプルでNone以外のものを取得するには、stdout = PIPEやstderr = PIPEも指定する必要があります。
os.popen *の置き換え
pipe = os.popen(cmd, 'w', bufsize)
# ==>
pipe = Popen(cmd, Shell=True, bufsize=bufsize, stdin=PIPE).stdin
警告stdin.write()、stdout.read()、またはstderr.read()ではなく、communication()を使用する他のOSパイプバッファは子プロセスをいっぱいにしてブロックします。
だからあなたの例は次のように書くことができます:
from subprocess import Popen, PIPE, STDOUT
p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)
grep_stdout = p.communicate(input=b'one\ntwo\nthree\nfour\nfive\nsix\n')[0]
print(grep_stdout.decode())
# -> four
# -> five
# ->
現在のPython 3バージョンでは、 subprocess.run
を使用して、入力を文字列として外部コマンドに渡し、その終了ステータスを取得し、その出力を文字列として1回の呼び出しで戻すことができます。
#!/usr/bin/env python3
from subprocess import run, PIPE
p = run(['grep', 'f'], stdout=PIPE,
input='one\ntwo\nthree\nfour\nfive\nsix\n', encoding='ascii')
print(p.returncode)
# -> 0
print(p.stdout)
# -> four
# -> five
# ->
私はこの回避策を考え出しました:
>>> p = subprocess.Popen(['grep','f'],stdout=subprocess.PIPE,stdin=subprocess.PIPE)
>>> p.stdin.write(b'one\ntwo\nthree\nfour\nfive\nsix\n') #expects a bytes type object
>>> p.communicate()[0]
'four\nfive\n'
>>> p.stdin.close()
もっと良いものはありますか?
私は、パイプを作成することを提案した人は少し驚いています。私の考えでは、サブプロセスの標準入力に文字列を渡す最も簡単な方法です。
read, write = os.pipe()
os.write(write, "stdin input here")
os.close(write)
subprocess.check_call(['your-command'], stdin=read)
Python 3.4以上を使用している場合は、すばらしい解決策があります。 bytes引数を受け入れるinput
引数の代わりにstdin
引数を使用します。
output = subprocess.check_output(
["sed", "s/foo/bar/"],
input=b"foo",
)
私はpython3を使用していて、あなたがそれをstdinに渡す前にあなたの文字列をエンコードする必要があることを発見しました:
p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=PIPE)
out, err = p.communicate(input='one\ntwo\nthree\nfour\nfive\nsix\n'.encode())
print(out)
"cStringIO.StringIOオブジェクトは、サブプロセスに適したファイルダックに十分近くにはないようです。"
:-)
そうではないと思います。パイプは低レベルのOSの概念であるため、OSレベルのファイル記述子で表されるファイルオブジェクトが絶対に必要です。あなたの回避策は正しいものです。
from subprocess import Popen, PIPE
from tempfile import SpooledTemporaryFile as tempfile
f = tempfile()
f.write('one\ntwo\nthree\nfour\nfive\nsix\n')
f.seek(0)
print Popen(['/bin/grep','f'],stdout=PIPE,stdin=f).stdout.read()
f.close()
"""
Ex: Dialog (2-way) with a Popen()
"""
p = subprocess.Popen('Your Command Here',
stdout=subprocess.PIPE,
stderr=subprocess.STDOUT,
stdin=PIPE,
Shell=True,
bufsize=0)
p.stdin.write('START\n')
out = p.stdout.readline()
while out:
line = out
line = line.rstrip("\n")
if "WHATEVER1" in line:
pr = 1
p.stdin.write('DO 1\n')
out = p.stdout.readline()
continue
if "WHATEVER2" in line:
pr = 2
p.stdin.write('DO 2\n')
out = p.stdout.readline()
continue
"""
..........
"""
out = p.stdout.readline()
p.wait()
どうやらPopen.communicate(input=s)
はifs
が大きすぎるのではないかということに注意してください。どうやら親プロセスはそれをバッファするでしょう前子サブプロセスをフォークすること、つまりその時点で "2倍"の使用済みメモリが必要です(少なくとも「アンダーフード」の説明とリンクされたドキュメント はこちら にあります。私の特定のケースでは、s
は最初に完全に展開された後にstdin
に書き込まれたジェネレータでした。そのため、子プロセスが生成される直前の親プロセスは巨大でした。
File "/opt/local/stow/python-2.7.2/lib/python2.7/subprocess.py", line 1130, in _execute_child self.pid = os.fork() OSError: [Errno 12] Cannot allocate memory
p = Popen(['grep', 'f'], stdout=PIPE, stdin=PIPE, stderr=STDOUT)
p.stdin.write('one\n')
time.sleep(0.5)
p.stdin.write('two\n')
time.sleep(0.5)
p.stdin.write('three\n')
time.sleep(0.5)
testresult = p.communicate()[0]
time.sleep(0.5)
print(testresult)