_subprocess.Popen
_を使用して多数の長時間実行プロセスを起動する必要があり、それぞれからのstdout
およびstderr
が自動的に個別のログファイルにパイプされます。各プロセスは数分間同時に実行され、2つのログファイル(stdout
およびstderr
)プロセスごとがプロセスの実行時に書き込まれます。
各ログファイルを更新するためにループ内の各プロセスで継続的にp.communicate()
を呼び出す必要がありますか、それとも元のPopen
コマンドを呼び出してstdout
およびstderr
は自動的にストリーミングされて、ファイルハンドルを開きますか?
ドキュメント ごと
stdin、stdout、およびstderrは、実行されたプログラムの標準入力、標準出力、および標準エラーファイルハンドルをそれぞれ指定します。有効な値は、PIPE、既存のファイル記述子(正の整数)、既存のファイルオブジェクト、およびNoneです。
そのため、書き込み専用のファイルオブジェクトを名前付き引数として渡すstdout=
およびstderr=
そして、あなたは大丈夫です!
stdout
とstderr
をパラメーターとしてPopen()
に渡すことができます
subprocess.Popen(self, args, bufsize=0, executable=None, stdin=None, stdout=None,
stderr=None, preexec_fn=None, close_fds=False, Shell=False,
cwd=None, env=None, universal_newlines=False, startupinfo=None,
creationflags=0)
例えば
>>> import subprocess
>>> with open("stdout.txt","wb") as out, open("stderr.txt","wb") as err:
... subprocess.Popen("ls",stdout=out,stderr=err)
...
<subprocess.Popen object at 0xa3519ec>
>>>
2つのサブプロセスを同時に実行し、両方の出力を1つのログファイルに保存しています。また、ハングしたサブプロセスを処理するためにタイムアウトを組み込みました。出力が大きくなりすぎると、タイムアウトが常にトリガーされ、いずれかのサブプロセスの標準出力はログファイルに保存されません。上記のアレックスによって提起された答えはそれを解決しません。
# Currently open log file.
log = None
# If we send stdout to subprocess.PIPE, the tests with lots of output fill up the pipe and
# make the script hang. So, write the subprocess's stdout directly to the log file.
def run(cmd, logfile):
#print os.getcwd()
#print ("Running test: %s" % cmd)
global log
p = subprocess.Popen(cmd, Shell=True, universal_newlines = True, stderr=subprocess.STDOUT, stdout=logfile)
log = logfile
return p
# To make a subprocess capable of timing out
class Alarm(Exception):
pass
def alarm_handler(signum, frame):
log.flush()
raise Alarm
####
## This function runs a given command with the given flags, and records the
## results in a log file.
####
def runTest(cmd_path, flags, name):
log = open(name, 'w')
print >> log, "header"
log.flush()
cmd1_ret = run(cmd_path + "command1 " + flags, log)
log.flush()
cmd2_ret = run(cmd_path + "command2", log)
#log.flush()
sys.stdout.flush()
start_timer = time.time() # time how long this took to finish
signal.signal(signal.SIGALRM, alarm_handler)
signal.alarm(5) #seconds
try:
cmd1_ret.communicate()
except Alarm:
print "myScript.py: Oops, taking too long!"
kill_string = ("kill -9 %d" % cmd1_ret.pid)
os.system(kill_string)
kill_string = ("kill -9 %d" % cmd2_ret.pid)
os.system(kill_string)
#sys.exit()
end_timer = time.time()
print >> log, "closing message"
log.close()