python multiprocessing 接收ctrl+C 杀死进程问题


大致代码是这样的:


 import time
import string
import os
import subprocess
import multiprocessing
import signal


def init_worker():
    signal.signal(signal.SIGINT, signal.SIG_IGN)

def func(excuteCmd):
    p = subprocess.Popen(excuteCmd, shell=True, stdout=subprocess.PIPE,stderr = subprocess.PIPE)
    a = p.stdout.read()
    p.wait()
    return a

def main():
    nodeList = ['node1', 'node2']
    list = []
    pool = multiprocessing.Pool(len(nodeList),init_worker)
    try:
        for i in range(len(nodeList)):
            node = nodeList[i]
            excuteCmd = 'ssh ' + node + 'XXXXXX'
            result.append(pool.apply_async(func, (excuteCmd, )))
        pool.close()
        pool.join()
    except KeyboardInterrupt:
        print "Caught KeyboardInterrupt, terminating workers"
        pool.terminate()
        pool.join()

main()

这段代码大致写了下,但是现在我有一个命令excuteCmd,这个命令大概作用就是ssh到一个node上面执行一个命令,这个命令持续一分钟,然后取回显,也就是说,每次命令执行完成后有很多回显需要拿回。

所以我想做的就是并行去不同的node上执行命令,并把回显拿回。
这个思路和代码是没问题,但是ctrl+C会有时延,也就是说,如果我半路想取消,ctrl+C下去要过三四十秒才能结束,这是为什么呢?

我能想到的是node如果比较多,命令回显也比较多,ctrl+C的信号就会排队,要等排到才能执行,而不是立即执行,所以请大神赐教,有没有方法可以立即中断。

(如果是比较简单的命令就没问题,唯独ssh过去时间比较长的命令才会这样)

python multiprocessing 进程池 多进程 进程

名字就是⑨ 9 years, 2 months ago

我记得 ctrl + c 发送的是 15 信号吧, 你直接 kill -9 试试

LITNW answered 9 years, 2 months ago

Your Answer