web-dev-qa-db-ja.com

Ctrl + C / SIGINTをキャッチし、マルチプロセスをpython

マルチプロセスpythonプログラムでCtrl + Cをキャッチし、すべてのプロセスを正常に終了するには、UnixとWindowsの両方で動作するソリューションが必要です。次を試しました。

import multiprocessing
import time
import signal
import sys

jobs = []

def worker():
    signal.signal(signal.SIGINT, signal_handler)
    while(True):
        time.sleep(1.1234)
        print "Working..."

def signal_handler(signal, frame):
    print 'You pressed Ctrl+C!'
    # for p in jobs:
    #     p.terminate()
    sys.exit(0)

if __== "__main__":
    for i in range(50):
        p = multiprocessing.Process(target=worker)
        jobs.append(p)
        p.start()

そして、それは一種の機能ですが、私はそれが正しい解決策だとは思いません。

EDIT：これは this one の複製である可能性があります

pythonmultiprocessingsignals
76
zenpoy

以前に受け入れられた解決策 には競合状態があり、mapおよびasync関数では機能しません。

multiprocessing.PoolでCtrl + C/SIGINTを処理する正しい方法は次のとおりです。

  1. プロセスSIGINTが作成される前に、プロセスがPoolを無視するようにします。この方法で作成された子プロセスは、SIGINTハンドラーを継承します。
  2. SIGINTが作成された後、親プロセスで元のPoolハンドラーを復元します。
  3. mapとapplyをブロックする代わりに、map_asyncとapply_asyncを使用します。
  4. デフォルトのブロック待機はすべてのシグナルを無視するため、結果をタイムアウトで待機します。これはPython bug https://bugs.python.org/issue8296 です。

それを一緒に入れて：

#!/bin/env python
from __future__ import print_function

import multiprocessing
import os
import signal
import time

def run_worker(delay):
    print("In a worker process", os.getpid())
    time.sleep(delay)

def main():
    print("Initializng 2 workers")
    original_sigint_handler = signal.signal(signal.SIGINT, signal.SIG_IGN)
    pool = multiprocessing.Pool(2)
    signal.signal(signal.SIGINT, original_sigint_handler)
    try:
        print("Starting 2 jobs of 5 seconds each")
        res = pool.map_async(run_worker, [5, 5])
        print("Waiting for results")
        res.get(60) # Without the timeout this blocking call ignores all signals.
    except KeyboardInterrupt:
        print("Caught KeyboardInterrupt, terminating workers")
        pool.terminate()
    else:
        print("Normal termination")
        pool.close()
    pool.join()

if __== "__main__":
    main()

@YakovShklarovが指摘したように、シグナルを無視してから親プロセスでシグナルを無視しないまでの時間枠があり、その間にシグナルが失われる可能性があります。代わりにpthread_sigmaskを使用して、親プロセスでシグナルの配信を一時的にブロックすると、シグナルが失われるのを防ぐことができますが、Python-2では使用できません。

69
Maxim Egorushkin

解決策は このリンク と このリンク に基づいており、問題を解決しましたが、Poolに移動する必要がありました。

import multiprocessing
import time
import signal
import sys

def init_worker():
    signal.signal(signal.SIGINT, signal.SIG_IGN)

def worker():
    while(True):
        time.sleep(1.1234)
        print "Working..."

if __== "__main__":
    pool = multiprocessing.Pool(50, init_worker)
    try:
        for i in range(50):
            pool.apply_async(worker)

        time.sleep(10)
        pool.close()
        pool.join()

    except KeyboardInterrupt:
        print "Caught KeyboardInterrupt, terminating workers"
        pool.terminate()
        pool.join()
33
zenpoy

ワーカープロセスでKeyboardInterrupt-SystemExit例外を処理するだけです。

def worker():
    while(True):
        try:
            msg = self.msg_queue.get()
        except (KeyboardInterrupt, SystemExit):
            print("Exiting...")
            break
13
derkan